PVE8.0开启vGPU虚拟化

晨风 2024-02-02 PM 77℃ 0条

前提条件：主板BIOS开启VT-D
登录PVE后台，进入shell管理终端
开启iommu
vim /etc/default/grub
#找到
GRUB_CMDLINE_LINUX_DEFAULT="quiet"
#intel cpu 改为：
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
#amd cpu改为：
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt"
更新grub
update-grub
加载vfio模块
echo vfio >> /etc/modules
echo vfio_iommu_type1 >> /etc/modules
echo vfio_pci >> /etc/modules
echo vfio_virqfd >> /etc/modules
更新内核参数
update-initramfs -k all -u
屏蔽系统中的开源显卡驱动避免开启显卡被系统加载
#AMD显卡
echo "blacklist radeon" >> /etc/modprobe.d/blacklist.conf
echo "blacklist amdgpu" >> /etc/modprobe.d/blacklist.conf
#NVIDIA显卡
echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf
echo "blacklist nvidia" >> /etc/modprobe.d/blacklist.conf
echo "blacklist nvidiafb" >> /etc/modprobe.d/blacklist.conf
#INTEL核显
echo "blacklist snd_hda_intel" >> /etc/modprobe.d/blacklist.conf
echo "blacklist snd_hda_codec_hdmi" >> /etc/modprobe.d/blacklist.conf
echo "blacklist i915" >> /etc/modprobe.d/blacklist.conf 
更新内核并重启
update-initramfs -k all -u 
三、安装nvidia显卡宿主机vgpu驱动

注意，这个驱动不是常规的驱动，需要去nvidia官网注册企业账号才能下载到，PVE8的内核为6.2，可以安装最新的535驱动，如果不想注册企业号，可以去网上搜索下载。
将PVE需要安装的驱动传如PVE中，方法很多，可以通过scp或者ssh工具软件或者修改后缀名为iso，直接用pve后台传进去。
2.安装显卡驱动需要用到的依赖
apt install build-essential dkms mdevctl pve-headers-$(uname -r)
安装驱动并重启
#进入驱动所在目录
#r如果安装了显卡驱动，先卸载
./NVIDIA-Linux-x86_64-535.54.06-vgpu-kvm.run --uninstall
sudo apt-get remove --purge nvidia-*
###卸载后安装
chmod +x NVIDIA-Linux-x86_64-535.54.06-vgpu-kvm.run
./NVIDIA-Linux-x86_64-535.54.06-vgpu-kvm.run
#重启pve
reboot
验证是否安装成功，若正常显示下图所示，证明安装成功
nvidia-smi

四、创建虚拟机，这里以WIN11为例，在虚拟机中安装vgpu驱动

创建虚拟机过程略，在创建完成后添加PCI设备，如下图

打开win11虚拟机，将上面提到的虚拟机vgpu驱动传入win11,然后双击安装，过程略

装好以后重启设备管理器就识别了

五、搭建nvidia vgpu授权服务

服务需要用到证书，所以搭建之前要自己创建证书，可以使用任何一台安装完openssl的机器创建，创建过程如下
WORKING_DIR=/opt/docker/fastapi-dls/cert
mkdir -p $WORKING_DIR
cd $WORKING_DIR
# create instance private and public key for singing JWT's
openssl genrsa -out $WORKING_DIR/instance.private.pem 2048
openssl rsa -in $WORKING_DIR/instance.private.pem -outform PEM -pubout -out $WORKING_DIR/instance.public.pem
# create ssl certificate for integrated webserver (uvicorn) - because clients rely on ssl
openssl req -x509 -nodes -days 3650 -newkey rsa:2048 -keyout  $WORKING_DIR/webserver.key -out $WORKING_DIR/webserver.crt
运行docker fastapi-dls服务
docker run -e DLS_URL=替换成你的ip地址 -e DLS_PORT=443 -p 443:443 -v $WORKING_DIR:/app/cert collinwebdesigns/fastapi-dls:latest
访问你服务得https://ip地址，查看服务是否运行
1.win11下载证书，用浏览器访问 https://ip地址/-/client-token ，下载后放入C:\Program Files\NVIDIA Corporation\vGPU Licensing\ClientConfigToken\这个目录
重启win11
击右下角的nvidia图标，看到如下图所示就证明授权成功

如果是linux系统，执行下面命令即可
curl --insecure -L -X GET https://<dls-hostname-or-ip>/-/client-token -o /etc/nvidia/ClientConfigToken/client_configuration_token_$(date '+%d-%m-%Y-%H-%M-%S').tok
# or
wget --no-check-certificate -O /etc/nvidia/ClientConfigToken/client_configuration_token_$(date '+%d-%m-%Y-%H-%M-%S').tok https://<dls-hostname-or-ip>/-/client-token
其他细节其实可以查看https://ip/-/readme
至此，你可以愉快的玩耍了！

标签: none

非特殊说明，本博所有文章均为博主原创。

如若转载，请注明出处：http://blog.chenfengly.com/index.php/archives/37/

上一篇 Cesium 隐藏地球后，相机进入地下后，滚轮缩放视角后，会越来越远

下一篇没有了

PVE8.0开启vGPU虚拟化

评论啦~

栏目分类

标签云

PVE8.0开启vGPU虚拟化

 评论啦~

 栏目分类

标签云

评论啦~

栏目分类

标签云