使用Triton部署chatglm2-6b模型
一、技术介绍 NVIDIA Triton Inference Server是一个针对CPU和GPU进行优化的云端和推理的解决方案。 支持的模型类型包括TensorRT、TensorFlow、PyTorch(meta-llama/L ......![]()
重磅｜ Falcon 180B 正式在 Hugging Face Hub 上发布！
我们很高兴地宣布由 Technology Innovation Institute (TII) 训练的开源大模型 Falcon 180B 登陆 Hugging Face！ Falcon 180B 为开源大模型树立了全新的标杆。作为 ......![]()
chatglm2-6b在P40上做LORA微调
背景： 目前，大模型的技术应用已经遍地开花。最快的应用方式无非是利用自有垂直领域的数据进行模型微调。chatglm2-6b在国内开源的大模型上，效果比较突出。本文章分享 ......![]()
Paddle图神经网络训练-PGLBox代码阅读笔记
图存储部分 paddle/fluid/framework/fleet/heter_ps graph_gpu_wrapper.h GPU图主入口 graph_gpu_ps_table.h GPU图的主要存储结构，neighbor采样等都在 ......![]()
论文日记五：QueryInst
导读 实例分割领域21年的SOTA，整个模型结构设计总述为以下： 1）设计了类似于Cascade Mask R-CNN的多阶段迭代优化的bbox和mask预测头； 2）基于query的实例分割方法， ......![]()
【pytorch】从零开始，利用yolov5、crnn+ctc进行车牌识别
笔者的运行环境：python3.8+pytorch2.0.1+pycharm+kaggle用到的网络框架：yolov5、crnn+ctc项目地址：GitHub - WangPengxing/plate_identification: 利用yolov5、crnn ......![]()
使用 AutoGPTQ 和 transformers 让大语言模型更轻量化
大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力，正在许多领域带来应用上的革新。然而，在消费级硬件上训练和部署大语言模型的需求也变得越来越难以 ......cs50ai1
cs50ai1-------Knowledge cs50ai1-------Knowledge 基础知识 课后题目 代码实践 学习链接 总结 基础知识 对我们来说，一些基本的logic是自然而然的，我们可以根据 ......![]()
带你读论文丨Fuzzing漏洞挖掘详细总结 GreyOne
本文分享自华为云社区《[论文阅读] (03) 清华张超老师 - Fuzzing漏洞挖掘详细总结 GreyOne》，作者： eastmount。 一.传统的漏洞挖掘方法 演讲题目： 数据流敏感的漏洞 ......![]()
↓ 按住下拉
V2AS = Way To Ask
V2AS 一个技术分享与创造的静土
手机扫一扫
移动阅读更方便
近15日热搜文章