使用Triton部署chatglm2-6b模型
一、技术介绍 NVIDIA Triton Inference Server是一个针对CPU和GPU进行优化的云端和推理的解决方案。 支持的模型类型包括TensorRT、TensorFlow、PyTorch(meta-llama/L ......![]()
chatglm2-6b在P40上做LORA微调
背景： 目前，大模型的技术应用已经遍地开花。最快的应用方式无非是利用自有垂直领域的数据进行模型微调。chatglm2-6b在国内开源的大模型上，效果比较突出。本文章分享 ......![]()
chatglm2-6b模型在9n-triton中部署并集成至langchain实践
一.前言 近期， ChatGLM-6B 的第二代版本ChatGLM2-6B已经正式发布，引入了如下新特性： ①. 基座模型升级，性能更强大，在中文C-Eval榜单中，以51.7分位列第6； ②. 支持8 ......![]()
Hugging News 0626: 音频课程更新、在线体验 baichuan-7B 模型、ChatGLM2-6B 重磅发
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将 ......![]()
↓ 按住下拉
V2AS = Way To Ask
V2AS 一个技术分享与创造的静土
手机扫一扫
移动阅读更方便
近15日热搜文章