使用Triton部署chatglm2-6b模型
一、技术介绍 NVIDIA Triton Inference Server是一个针对CPU和GPU进行优化的云端和推理的解决方案。 支持的模型类型包括TensorRT、TensorFlow、PyTorch(meta-llama/L ......![]()
【TVM模型编译】2. relay算子构造.md
从TVM的官方Tutorial里面，介绍了如何新增自定义算子。(这是我翻译的) 之前的文章讲到了onnx 算子转换到Relay IR的过程 下面以Conv2d算子介绍，编译过程中 Relay IR ......带你上手基于Pytorch和Transformers的中文NLP训练框架
本文分享自华为云社区《全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据》，作者： 汀丶 。 1.简介 目标： ......![]()
【pytorch】从零开始，利用yolov5、crnn+ctc进行车牌识别
笔者的运行环境：python3.8+pytorch2.0.1+pycharm+kaggle用到的网络框架：yolov5、crnn+ctc项目地址：GitHub - WangPengxing/plate_identification: 利用yolov5、crnn ......![]()
【pytorch】目标检测：一文搞懂如何利用kaggle训练yolov5模型
笔者的运行环境：python3.8+pytorch2.0.1+pycharm+kaggle。yolov5对python和pytorch版本是有要求的，python>=3.8，pytorch>=1.6。yolov5共有5种类型n\s\l\m\x，参数量 ......![]()
【TVM模型编译】0.onnx模型优化流程.md
本文以及后续文章，着重于介绍tvm的完整编译流程。 后续文章将会按照以上流程，介绍tvm源码。其中涉及一些编程技巧、以及tvm概念，不在此部分进行进一步讲解，另有文章 ......将onnx的静态batch改为动态batch及修改输入输出层的名称
目录 背景 操作 修改输入输出层 修改输入输出层名称 完整代码 背景 在模型的部署中，为了高效利用硬件算力，常常会需要将多个输入组成一个batch同时输入网络进行 ......![]()
LabVIEW图形化TensoRT工具包的安装下载分享
前言 Hello，大家好，我是virobotics（仪酷智能）今天我们一起来看一下如何安装【LabVIEWTensoRT工具包】。 一、LabVIEW图形化TensoRT工具包简介 工具包特点： 图形化编 ......![]()
使用LabVIEW 实现物体识别、图像分割、文字识别、人脸识别等深度视觉
前言 哈喽，各位朋友们，这里是virobotics（仪酷智能），这两天有朋友私信问之前给大家介绍的工具包都可以实现什么功能，最新的一些模型能否使用工具包加载，今天就给大 ......![]()
↓ 按住下拉
V2AS = Way To Ask
V2AS 一个技术分享与创造的静土
手机扫一扫
移动阅读更方便
近15日热搜文章