使用Triton部署chatglm2-6b模型
一、技术介绍 NVIDIA Triton Inference Server是一个针对CPU和GPU进行优化的云端和推理的解决方案。 支持的模型类型包括TensorRT、TensorFlow、PyTorch(meta-llama/L ......![]()
chatglm2-6b在P40上做LORA微调
背景： 目前，大模型的技术应用已经遍地开花。最快的应用方式无非是利用自有垂直领域的数据进行模型微调。chatglm2-6b在国内开源的大模型上，效果比较突出。本文章分享 ......![]()
基于 LLM 的知识图谱另类实践
本文整理自社区用户陈卓见在「夜谈 LLM」主题分享上的演讲，主要包括以下内容： 利用大模型构建知识图谱 利用大模型操作结构化数据 利用大模型使用工具 上图是之前 ......![]()
带你上手基于Pytorch和Transformers的中文NLP训练框架
本文分享自华为云社区《全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据》，作者： 汀丶 。 1.简介 目标： ......![]()
chatglm2-6b模型在9n-triton中部署并集成至langchain实践
一.前言 近期， ChatGLM-6B 的第二代版本ChatGLM2-6B已经正式发布，引入了如下新特性： ①. 基座模型升级，性能更强大，在中文C-Eval榜单中，以51.7分位列第6； ②. 支持8 ......![]()
关于 LLM 和图数据库、知识图谱的那些事
本文整理自 NebulaGraph 布道师 wey 在「夜谈 LLM」主题分享上的演讲，主要包括以下内容： 背景 LLM RAG Graph 知识抽取 Text2Cypher Graph RAG 未来规划 LLM 是什 ......![]()
ChatGPT小型平替之ChatGLM-6B本地化部署、接入本地知识库体验
本文期望通过本地化部署一个基于LLM模型的应用，能让大家对构建一个完整的应用有一个基本认知。包括基本的软硬环境依赖、底层的LLM模型、中间的基础框架及最上层的展 ......Hugging News 0626: 音频课程更新、在线体验 baichuan-7B 模型、ChatGLM2-6B 重磅发
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将 ......![]()
ChatGPT的原理与前端领域实践
ChatGPT的火爆 ChatGPT作为一个web应用，自22年12月发布，仅仅不到3个月的时间，月活用户就累积到1亿。在此之前，最快记录的保持者也需要9个月才达到月活1亿。 ChatGP ......
↓ 按住下拉
V2AS = Way To Ask
V2AS 一个技术分享与创造的静土
手机扫一扫
移动阅读更方便
近15日热搜文章