基于Proxmox平台搭建3D云教室

阅读原文时间：2023年07月11日阅读：2

背景

本文介绍了在 Proxmox VE 虚拟化平台上使用NVIDIA A16 GPU，开启vGPU特性，利用DoraCloud 搭建3D云教室的方案。

Proxmox virtualization environment，简称PVE，是一个开源免费的基于linux的企业级虚拟化方案，功能不输专业收费的VMware。简单的说，PVE是一个基于Debian的linux系统，内置了一套虚拟机管理工具，并提供了web管理页面，让我们可以非常简单的通过网页管理虚拟机。

DoraCloud是一套多平台、一体化、分布式的桌面虚拟化方案。基于开放架构，支持多种虚拟化平台（Hyper-V，VMware，Proxmox，XenServer），多种桌面协议（RDP，PCoIP，SPICE）。采用All-in-One的设计模式和虚拟设备的部署方式。

NVIDIA A16是基于上一代的M10演进而来，配置64G显存，提供四个编码单元、八个硬解码单元，支持H.265和264的硬解码，支持vP9。在编码的带宽和路数上，A16是M10的 2倍。NVIDIA A16则主要面向vPC的应用场景。最多支持64个vGPU。

NVIDIA A16 GPU

云桌面方案已经广泛应用在学校的计算机教室项目中。采用云桌面方案的计算机教室，具有维护简单、部署便捷、功耗低的特点的特点。不过一般由于不配置GPU，无法支持一些3D应用软件的教学，比如3D One、Vulkan等。如果采用 NVIDIA A16 GPU，一个显卡可以支持64用户配置vGPU。一台服务器配置一个A16，即可满足一个计算机教室的3D应用软件的教学需求。

系统配置

服务器： Xeon 金牌 6226R * 2，512G内存， 960G SSD，2TB HDD， NVIDIA A16-64

虚拟化软件： Proxmox VE 7.x

桌面云软件： DoraCloud V3.3

云终端：朵拉云 DC15 云终端

推荐中科大（ USTC）的源下载 ISO，然后使用 rufus 制作启动U盘。

https://mirrors.ustc.edu.cn/proxmox/iso/

替换中科大的源，更新升级系统。目前最新的版本为 7.2.3

mv /etc/apt/sources.list.d/pve-enterprise.list /etc/apt/sources.list.d/pve-enterprise.list.bak
CODENAME=`cat /etc/os-release |grep PRETTY_NAME |cut -f 2 -d "(" |cut -f 1 -d ")"`
echo "deb https://mirrors.ustc.edu.cn/proxmox/debian $CODENAME pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list

#更新
apt update && apt dist-upgrade -y

安装DKMS 依赖包

#安装 DKMS 依赖包
apt install pve-headers dkms -y

服务器为Intel 处理器，通过如下脚本启用IOMMU，如果是AMD处理器，配置有差异。

# 复制如下脚本，启用IO-MMU

/etc/default/grub 的GRUB_CMDLINE_LINUX_DEFAULT，增加 intel_iommu=on iommu=pt

sed -i 's/GRUB_CMDLINE_LINUX_DEFAULT="quiet"/GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"/g' /etc/default/grub

update-grub

加载 vfio vfio_iommu_type1 vfio_pci vfio_virqfd 4个Modules

echo vfio >> /etc/modules
echo vfio_iommu_type1 >> /etc/modules
echo vfio_pci >> /etc/modules
echo vfio_virqfd >> /etc/modules

echo "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modprobe.d/iommu_unsafe_interrupts.conf
echo "options kvm ignore_msrs=1" > /etc/modprobe.d/kvm.conf
echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf

update-initramfs -u
reboot

重启后，确认 IO-MMU已经启用。

root@pveserver:~# dmesg | grep -e DMAR -e IOMMU
[ 0.000000] ACPI: DMAR 0x0000000079A48648 0000A8 (v01 INTEL EDK2 00000002 01000013)
[ 0.000000] DMAR: IOMMU enabled
[ 0.004000] DMAR: Host address width 39
[ 0.004000] DMAR: DRHD base: 0x000000fed90000 flags: 0x0
[ 0.004000] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap 1c0000c40660462 ecap 19e2ff0505e
[ 0.004000] DMAR: DRHD base: 0x000000fed91000 flags: 0x1
[ 0.004000] DMAR: dmar1: reg_base_addr fed91000 ver 1:0 cap d2008c40660462 ecap f050da

chmod +x NVIDIA-Linux-x86_64-510.47.03-vgpu-kvm.run
./NVIDIA-Linux-x86_64-510.47.03-vgpu-kvm.run -dkms

驱动安装完毕后，重新加载服务，重启服务器。

systemctl daemon-reload
reboot

安装完毕后，可以通过 nvidia-smi 命令查看到显卡状态。

需要说明的是 NVIDIA A16 属于最新的安培系列，vGPU的实现方式与之前的模式不一样。采用的是SR-IOV方式实现vGPU。

A16包括四个显卡单元。每个单元可以分别启用vGPU，并且每个单元可以配置成不同的vGPU切割方式。

为了使用A16的vGPU功能，需要先用命令激活显卡SR-IOV功能。

/usr/lib/nvidia/sriov-manage -e 0000:3F:00.0
/usr/lib/nvidia/sriov-manage -e 0000:40:00.0
/usr/lib/nvidia/sriov-manage -e 0000:41:00.0
/usr/lib/nvidia/sriov-manage -e 0000:42:00.0

A16激活后，可以通过 mdevctl types 查看到vGPU的vfio设备。

由于是新的SR-IOV模式，mdevctl types 可以看到的pci-e设备会非常多。

为了验证vGPU效果，我们在Proxmox 上部署DoraCloud。可以采用如下脚本在线安装 DoraCloud

cd /var/lib/vz/dump; wget -qO- https://dl.doracloud.cn/dpinstall.pl --referer https://doracloud.cn | perl

DoraCloud 的配置过程，可以根据配置向导进行配置。模板可以在线下载。可以很快的完成云桌面的部署。

为了让一块A16支持 60个桌面，我们把显卡 vGPU类型配置成nvidia-711 即可。