||
【2018-12】深度学习环境硬件安装及软件安装教程[Win10+Anaconda5.2.0+Tensorflow+4 RTX2080Ti+Cuda10]
洪峰
本文原写于2018-12
(转载请注明:转载于洪峰-科学网博客)
2018年9月,NVIDIA推出全新旗舰款RTX20系列显卡。该系列显卡基于 Turing GPU 架构和全新的 RTX 平台,其性能表现相较上一代显卡提升最高可达 6 倍,同时为游戏引入了全新的实时光线追踪和 AI 技术。2018年10月,本实验室开始拟搭建深度学习平台,初考虑TITAN XP显卡,但因新一代显卡性能着实有不少提升,故配置上还是选择新卡。不过有点遗憾的是,可能受中美贸易战的影响,此显卡RTX2080Ti购买一直十分紧张。直至十一月中下旬才最终确定购买合同,并于12月3日各部件到达,并准备完成相关组装。下面就硬软件及其使用等方面做出一些说明,以帮助实验室相关课题的研究人员及研究生更好地使用:
表1 平台硬件配置表
名称 | 配置 | 数量 |
CPU | Inter Core i7-6900k | 1 |
CPU水冷 | 美商海盗船 H100i PRO RGB冷头一体式CPU水冷散热器 | 1 |
主板 | 华硕(ASUS) X99-E WS/USB 3.1 | 1 |
内存 | 美商海盗船 复仇者LPX DDR4 3000 16GB | 4 |
SSD | 浦科特(PLEXTOR)M9PeG 512G M.2 NVMe/1TB | 1 |
机械 | 西部数据 企业级硬盘 4T 台式机械硬盘 | 1 |
GPU | 技嘉 GeForce RTX 2080Ti 显卡 | 4 |
显示器 | 戴尔(DELL) U2717D 27英寸 2K | 2 |
机箱 | 美商海盗船AIR540[US Corsair Carbide Air 540 | 1 |
电源 | 海盗船 RM 1000w 80plus | 1 |
键鼠 | 略 | 1 |
ü 主机的放置:尽量使GPU显卡竖直放置,避免几块累计压着承受重量。
ü 显示器安装:双显示器(DP接口)均最好插在第一块显卡上;重装系统时,应该连接低分辨率显示器,以避免在未装驱动时分辨率过高无法显示。
ü 上电噪声:因为风扇转速变化时容易产生噪声,另外几块显卡紧挨着,故也容易出现声音。
ü 显卡插拔:中部有各卡扣,应该按住,再往上拔才可。
名称 | 版本 | 备注 |
操作系统 | Win10 64bit | (核心版本须为2018.03以上,否则影响显卡驱动安装,请更新) |
深度学习集成环境 | Anaconda 5.2.0 | 建议从清华镜像下载:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ |
深度学习框架 | Tensorflow 1.12.0 | |
RTX2080Ti显卡驱动 | 417.22 | 12月3日发布最新版本 417.22-desktop-win10-64bit-international-whql |
CUDA环境 | 10.0 | cuda_10.0.130_411.31_win10 |
CUDnn | 7.4.1.5 | cudnn-10.0-windows10-x64-v7.4.1.5 https://developer.nvidia.com/rdp/cudnn-download官网下载地址(需要注册)
|
Visual Studio 2015 | Enterprise | 自定义安装即可 Visual Studio Enterprise 2015简体中文版(企业版): |
Tensorflow与cuda依赖 | tensorflow_gpu-1.12.0-cp36-cp36m-win_amd64.whl |
|
加速下载工具 | Internet Download Manager v6.32 | http://www.internetdownloadmanager.com/ |
搜索工具 | Everything | https://www.voidtools.com/downloads/ |
直接点击安装即可,需要考虑的有两点:
1) 如图1 所示选项时,选择不加入环境及利用3.6;
2) 在选择vscode时点击安装,其余无疑问。
图1
右键我的电脑->属性->高级选项->环境变量->系统变量->path->在path中添加路径:需要添加的有三个,分别为:
~\Anaconda3
~\Anaconda3\Scripts
~\Anaconda3\Library\bin
以我配置的环境变量为例,即:
图2
至此,anaconda安装完成。打开cmd输入Python,若显示Python版本则说明安装成功,如图。
图3
打开Anaconda Prompt
序号 | 说明 | 命令 |
0 | 添加源 | conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --set show_channel_urls yes |
1 | 创建名为TensorFlow的环境,同时安装Python3.6环境 | conda create --name tensorflow python=3.6
|
输入y回车 | ||
2 | 激活环境 | activate tensorflow |
3 | 安装TensorFlow | pip install tensorflow |
安装完毕,会给出如图4提醒: 图4 验证是否成功:输入Python,再输入import tensorflow as tf,若下一行出现<<<,则说明TensorFlow安装成功,如图: 图5
| ||
重新进入Anaconda Prompt,
序号 | 说明 | 命令 |
1 | 激活tensorflow环境 安装keras | activate tensorflow pip install keras
|
2 | 安装MinGW | conda install mingw libpython
|
此时keras安装成功。验证:输入Python,再输入import keras,显示Using TensorFlow backed,则说明安装成功,如图。 |
进入Anaconda Navigator中的Anaconda搜索Spyder,并点击安装。
安装matplotlib
python -m pip install matplotlib
打开Spyder(tensorflow),如图:
复制keras官网下的实例,http://keras-cn.readthedocs.io/en/latest/getting_started/sequential_model/
import numpy as np
from keras.models import Sequential
from keras.layers import Dense, Dropout
# Generate dummy data
x_train = np.random.random((1000, 20))
y_train = np.random.randint(2, size=(1000, 1))
x_test = np.random.random((100, 20))
y_test = np.random.randint(2, size=(100, 1))
model = Sequential()
model.add(Dense(64, input_dim=20, activation=‘relu‘))
model.add(Dropout(0.5))
model.add(Dense(64, activation=‘relu‘))
model.add(Dropout(0.5))
model.add(Dense(1, activation=‘sigmoid‘))
model.compile(loss=‘binary_crossentropy‘,
optimizer=‘rmsprop‘,
metrics=[‘accuracy‘])
model.fit(x_train, y_train,
epochs=20,
batch_size=128)
score = model.evaluate(x_test, y_test, batch_size=128)
运行结果如下所示
安装VS2015没什么难度,只有一个选项需要自定义,别的选项都可以使用默认值。VS2015的默认安装不包括C++的编译器,必须手动勾选Visual C++,不然会面临后续的CUDA编译错误。主要原因是VS2015在安装时并没有默认安装C++的编译器,也就是CL.exe。
python
import tensorflow as tf
tf.__version__
安装CUDA前请务必确认VS2015安装成功!这个时候你需要安装CUDA,双击我们下载的安装文件即可,一切都选择默认即可。
打开命令行,也就是cmd然后输入“nvcc -V”,如果安装正确的话你应该看到这样的输出:
用GPU加速深度学习: Windows安装CUDA+TensorFlow教程
输出中显示了CUDA的版本
利用everything搜索“C:\ProgramData\NVIDIA Corporation\CUDA Samples\v10.0”文件夹中的 “Samples vs2015”这个文件,然后再双击打开。选择编译生成1_Utilities中所有的文件。具体操作就是在1_Utilities上右键选择Build,注意红框部分的64位和Release:
如果右边不可用,则可以点击安装vc++必要组件即可运行。
在powershell中运行我们刚才编译出来的deviceQuery.exe,也就是在cmd中运行这个文件,下图中左下的红框显示 result = pass代表安装测试成功,
运行我们刚才编译出来的bandwidthTest.exe,方法一样,也是关注是否result = PASS。
解压缩我们下载的CuDnn文件,得到3个文件夹:bin, include, lib。将这个三个文件夹复制的内容复制到“C:\ProgramData\NVIDIA GPU Computing Toolkit\v10.0”对应的文件夹中。
此外,打开系统环境变量设置,以Win10为例,确认CUDA_PATH和CUDA_PATH_V10.0已经存在,手动添加 “C:\ProgramData\NVIDIA GPU Computing Toolkit\v10.0\bin”到Path里面。
这一步与4.1的各步骤都是类似的。
conda create --name tensorflow-gpu python=3.6
activate tensorflow-gpu
随后,则安装tensorflow-gpu,命令为pip install tensorflow-gpu(如果出现已安装等提示,则使用pip install --ignore-installed tensorflow_gpu即可。)
此时,如果导入tensorflow:
import tensorflow as tf
则会报如下错误:
这可能是因为tensorflow1.12与CUDA10.0不兼容引起的。
官方没提供,民间大神来搞定,到这里https://github.com/fo40225/tensorflow-windows-wheel下载符合条件的tensorflow的whl文件(说明详见连接页面)。 然后利用tensorflow-gpu环境下,对其进行编译:
pip install 文件名.whl
例如,我这里将其放置于C:\Users\ioacasDL下,然后
pip install tensorflow_gpu-1.12.0-cp36-cp36m-win_amd64.whl
至此,所有步骤均已完成 。
import tensorflow as tf
#
with tf.device('/cpu:0'):
a = tf.constant([1.0,2.0,3.0],shape=[3],name='a')
b = tf.constant([1.0,2.0,3.0],shape=[3],name='b')
with tf.device('/gpu:0'):
c = a+b
with tf.Session() as sess:
print(sess.run(c))
更新驱动可解决,与win10系统兼容性有关。
如果cpython解释器上的版本已经升级到10的话 在cmd命令行中输入以下命令重新安装其他版本的pip
python -m pip install --upgrade pip==9.0.3 --user
这可能涉及GPU的运行机制,每次运行完都应重启console,这样可解决下面的问题。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-7-23 18:16
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社