使用Triton部署chatglm2-6b模型
一、技术介绍 NVIDIA Triton Inference Server是一个针对CPU和GPU进行优化的云端和推理的解决方案。 支持的模型类型包括TensorRT、TensorFlow、PyTorch(meta-llama/L ......![]()
Python潮流周刊9：如何在本地部署开源大语言模型？
你好，我是猫哥。这里每周分享优质的 Python 及通用技术内容，部分为英文，已在小标题注明。（标题取自其中一则分享，不代表全部内容都是该主题，特此声明。） 首发于我的 ......![]()
重磅｜ Falcon 180B 正式在 Hugging Face Hub 上发布！
我们很高兴地宣布由 Technology Innovation Institute (TII) 训练的开源大模型 Falcon 180B 登陆 Hugging Face！ Falcon 180B 为开源大模型树立了全新的标杆。作为 ......![]()
PanGu-Coder2：从排序中学习，激发大模型潜力
本文分享自华为云社区《PanGu-Coder2：从排序中学习，激发大模型潜力》，作者： 华为云软件分析Lab 。 2022年7月，华为云PaaS技术创新Lab联合华为诺亚方舟语音语义实验室 ......![]()
Hugging News 0904：🤗 登陆 AWS Marketplace
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将 ......![]()
基于 LLM 的知识图谱另类实践
本文整理自社区用户陈卓见在「夜谈 LLM」主题分享上的演讲，主要包括以下内容： 利用大模型构建知识图谱 利用大模型操作结构化数据 利用大模型使用工具 上图是之前 ......![]()
大模型微调技术LoRA与QLoRA
LoRA: Low-Rank Adaptation of Large Language Models 大模型的参数量都在100B级别，由于算力的吃紧，在这个基础上进行所有参数的微调变得不可能。LoRA正是在这个 ......![]()
LLaMA模型微调版本：斯坦福 Alpaca 详解
项目代码：https://github.com/tatsu-lab/stanford_alpaca 博客介绍：https://crfm.stanford.edu/2023/03/13/alpaca.html Alpaca 是 LLaMA-7B 的微调版本，使用Sel ......开源 SD-Small 和 SD-Tiny 知识蒸馏代码与权重
最近，人工智能社区在开发更大、更高性能的语言模型方面取得了显著的进展，例如 Falcon 40B、LLaMa-2 70B、Falcon 40B、MPT 30B; 以及在图像领域的模型，如 SD2.1 和 SD ......![]()
↓ 按住下拉
V2AS = Way To Ask
V2AS 一个技术分享与创造的静土
手机扫一扫
移动阅读更方便
近15日热搜文章