建设银行网站注销吗,即将倒闭的设计院,百度一下官网入口,银川网站开发制作很多人配置环境就是直接安装三件套#xff0c;而对于版本管理不是很清楚。在开发初期#xff0c;这样做没什么问题。但是如果服务器多人使用#xff0c;或者复现代码多#xff08;pytorch版本和cuda版本是互相依赖的#xff09;#xff0c;就需要更进一步的版本管理方法。…很多人配置环境就是直接安装三件套而对于版本管理不是很清楚。在开发初期这样做没什么问题。但是如果服务器多人使用或者复现代码多pytorch版本和cuda版本是互相依赖的就需要更进一步的版本管理方法。这里将详细介绍用于深度学习或者CPP开发的CUDA版本管理方式。
在配置环境前首先需要明确自己的需求。一般来说CUDA将会被用于
PyTorch的GPU版本CUDA的C开发CUDA的Python开发
对于使用Python进行的开发推荐在linux上使用DockerWindows上使用anaconda。对于C开发只使用方法一手动管理版本即可无须安装anaconda和docker。请注意以下的方法选择其一即可混着用容易把自己搞乱了。
下面是目录按需要跳转 目录 基础知识GPU运算的环境配置流程检查驱动安装 方法一使用系统环境变量管理多版本CUDA环境检查脚本 安装windows本地安装Linux本地安装 多版本管理WindowsLinux 方法二使用Dockerlinux上安装NVIDIA Container Toolkit dockerUbuntu 16.04/18.04, Debian Jessie/Stretch/Buster:CentOS 7 (docker-ce), RHEL 7.4/7.5 (docker-ce), Amazon Linux 1/2: 切换版本 方法三使用anaconda安装切换版本 基础知识
CUDA是基于驱动运行的所以安装驱动必不可少。这一步非常简单在linux和windows上都比较好做。这里暂时跳过。
我们使用什么版本cuda的取决于要使用的PyTorch版本。在配置环境前首先需要明确自己的需求。
pip的版本管理很混乱在每次使用的过程中都要小心哪些包的版本被修改了。因此建议对于版本跨度大的包使用conda等虚拟环境隔离。
GPU运算的环境配置流程
安装NVIDIA驱动安装Docker可选安装anaconda配置CUDA、cuDNN安装pytorch
检查驱动安装
注意这里的CUDA版本是假的默认显示一个数值。还是需要继续安装~
nvidia-smi输出方框就说明正常
方法一使用系统环境变量管理多版本CUDA
方法相对来说最简单直观。就是更改cuda对应的系统环境变量使得其指向不同的版。
优点
节省空间不需要创建太多的conda环境安装方便网络问题导致无法conda安装时除了可以离线安装还可以手动管理
缺点
切换环境需要修改系统环境变量 在多人使用的服务器上容易造成版本混乱。复现代码时候每次都要查看文档手动下载配置环境变量复制cudnn成本高
环境检查脚本
很多仓库在安装时候会指定cuda-tookit导致环境
安装
windows本地安装
CUDA版本选择 打开NVIDIA控制面板选择系统信息查看支持的CUDA版本。 CUDA toolkit下载 访问NVIDIA开发者网站的CUDA Toolkit下载页面。根据自己的操作系统和CUDA版本选择合适的下载链接。下载并运行.exe文件按照安装向导进行安装。设置临时解压目录和安装目录建议使用默认设置。安装完成后配置CUDA的环境变量。 cuDNN下载和配置 访问NVIDIA开发者网站的cuDNN下载页面。注册一个账号并登录然后选择适配自己CUDA版本的cuDNN版本进行下载。解压下载的压缩包得到三个文件夹。将这三个文件夹的内容复制到CUDA的安装目录中。添加CUDA安装目录到系统环境变量的path中。 验证安装是否成功 打开命令提示符输入nvcc --version命令查看CUDA版本号。输入set cuda命令查看CUDA设置的环境变量。
Linux本地安装 下载cuda 首先确定需要下载的版本wget下载。 赋予权限安装 wget https://developer.download.nvidia.com/compute/cuda/自己的版本
sudo sh cuda_xxx.run配置环境 添加环境变量 sudo vi ~/.bashrc
export PATH/usr/local/cuda-11.6/bin${PATH::${PATH}}
export LD_LIBRARY_PATH/usr/local/cuda-11.6/lib64${LD_LIBRARY_PATH::${LD_LIBRARY_PATH}}
export CUDA_HOME/usr/local/cuda-11.6更新环境变量并检查 source ~/.bashrc
sudo ldconfignvcc -V多版本管理
Windows
在windows中在控制面板中找到编辑系统环境变量选项。
在系统环境变量栏找到Path和CUDA 。确定将要使用的CUDA版本可以在系统环境变量栏其他的CUDA*中找到当前安装了哪些版本的cuda。把CUDA的地址换成目标版本的CUDA 安装地址在Path中把目标版本的CUDA地址放在最上面这样nvidia-smi指令就能找到当前实际使用的cuda版本。否则其显示将会是默认的最新版或者以前的版本。重新启动不必要
Linux
在Linux中基本原理一样就是更改系统环境变量使得cuda的指向改变。
打开终端vi编辑~/.bashrc文件到文件末尾修改下面的地址
export PATH/usr/local/cuda-11.0/bin:$PATH
export LD_LIBRARY_PATH/usr/local/cuda-11.0/lib64:$LD_LIBRARY_PATH
export CUDA_HOME/usr/local/cuda-11.0更新环境变量并检查
source ~/.bashrc
sudo ldconfig
# 检查安装
nvcc -V方法二使用Docker
这种方法的学习成本比较高但是对于频繁切换电脑、切换系统需要在多台无人车、板卡配置生产环境等高移动需求的人来说是最好的方法。打包解包速度快得很。
这里简单介绍使用方法详细请查看我的文章Docker配置深度学习环境。
请注意在Windows系统中不推荐使用docker(CUDA for WSL2驱动问题多效率低不如直接linux)
linux上安装NVIDIA Container Toolkit docker
Ubuntu 16.04/18.04, Debian Jessie/Stretch/Buster:
$ distribution$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
$ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
$ sudo apt-get update sudo apt-get install -y nvidia-container-toolkit
$ sudo systemctl
CentOS 7 (docker-ce), RHEL 7.4/7.5 (docker-ce), Amazon Linux 1/2:
$ distribution$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | sudo tee /etc/yum.repos.d/nvidia-docker.repo
$ sudo yum install -y nvidia-container-toolkit
$ sudo systemctl restart docker激活环境
$ docker run --gpus all 镜像名称无须测试安装不会出错的。
切换版本
run不同版本对应的镜像即可。
方法三使用anaconda
很多人对于anaconda的印象停留在python的包管理上但其实它可以用于很多其他版本的管理中。比如cudacudnn的版本管理就可以依靠环境完成隔离。
安装
对于anacondalinux和windows是一样的。 首先新建虚拟环境并进入 conda activate 环境名如果有其他环境甚至其他计算机的拷贝过来也可以包很全可以使用 conda create -n 新环境名 --clone 已有环境名搜索所有可用包的信息 conda search cudatoolkit --info执行安装 网络好直接安装。 conda install cudatoolkit版本号b. 网络差下载卡住离线安装。 conda search cudatoolkit --info
# 找到下载地址
wget 下载地址
conda install --use-local 下载好的地址安装cudnn cudnn的版本和cuda版本对应如果省事儿网络好可以一起安装 conda install cudatoolkit版本号 cudnn在线、本地安装同上 检查安装成功与否 需要注意conda环境下的nvcc地址和需要自己手动export在对应虚拟环境下面。因此可以安装nvcc工具 conda install -c nvidia cuda-nvcc
# 或者特定版本的nvcc安装的版本应与你的cuda版本兼容
conda install -c nvidia/label/cuda-x.x.x cuda-nvcc验证安装 nvcc -V切换版本
直接使用conda切换到对应版本的虚拟环境即可。建议自己写个文档记录哪个虚拟环境都是什么版本的python和torch、cuda、cudnn。
