使用Triton部署chatglm2-6b模型
一、技术介绍 NVIDIA Triton Inference Server是一个针对CPU和GPU进行优化的云端和推理的解决方案。 支持的模型类型包括TensorRT、TensorFlow、PyTorch(meta-llama/L ......![]()
使用 AutoGPTQ 和 transformers 让大语言模型更轻量化
大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力，正在许多领域带来应用上的革新。然而，在消费级硬件上训练和部署大语言模型的需求也变得越来越难以 ......chatglm2-6b模型在9n-triton中部署并集成至langchain实践
一.前言 近期， ChatGLM-6B 的第二代版本ChatGLM2-6B已经正式发布，引入了如下新特性： ①. 基座模型升级，性能更强大，在中文C-Eval榜单中，以51.7分位列第6； ②. 支持8 ......![]()
MLPerf Inference 0.7应用
MLPerf Inference 0.7应用 三个趋势继续推动着人工智能推理市场的训练和推理：不断增长的数据集，日益复杂和多样化的网络，以及实时人工智能服务。 MLPerf 推断 0 . ......![]()
11.16-18 lsci、ipcs、ipcrm：清除ipc相关信息
lspci命令用来显示系统中的所有PCI总线设备或是连接到该总线上的所有设备。 lspci命令的参数选项及说明 -v 显示详细信息 -vv 显示更详细的信息 -s ......《HelloGitHub》第 77 期
兴趣是最好的老师，HelloGitHub 让你对编程感兴趣！ HelloGitHub 分享 GitHub 上有趣、入门级的开源项目。 https://github.com/521xueweihan/HelloGitHub 这里有实 ......![]()
k8s全方位监控-prometheus-配置文件介绍以及基于文件服务发现
1、scrape_configs 参数介绍 默认的全局配置 global: scrape_interval: 15s 采集间隔15s，默认为1min一次 evaluation_interval: 15s 计算规则的间 ......OWASP固件安全性测试指南
OWASP固件安全性测试指南 固件安全评估，英文名称 firmware security testing methodology 简称 FSTM。该指导方法主要是为了安全研究人员、软件开发人员、顾问、爱好 ......![]()
stable diffusion打造自己专属的LORA模型
通过Lora小模型可以控制很多特定场景的内容生成。 但是那些模型是别人训练好的，你肯定很好奇，我也想训练一个自己的专属模型（也叫炼丹～_～）。 甚至可以训练一个专属 ......![]()
↓ 按住下拉
V2AS = Way To Ask
V2AS 一个技术分享与创造的静土
手机扫一扫
移动阅读更方便
近15日热搜文章