daxuerushui的个人博客分享 http://blog.sciencenet.cn/u/daxuerushui

博文

深度学习环境安装教程[Win10+Anaconda5.2.0+Tensorflow+RTX2080Ti+Cuda10

已有 1931 次阅读 2023-10-27 18:06 |个人分类:DL|系统分类:科研笔记

2018-12】深度学习环境硬件安装及软件安装教程[Win10+Anaconda5.2.0+Tensorflow+4 RTX2080Ti+Cuda10]

 

洪峰

本文原写于2018-12 

(转载请注明:转载于洪峰-科学网博客)

1 背景介绍

20189月,NVIDIA推出全新旗舰款RTX20系列显卡。该系列显卡基于 Turing GPU 架构和全新的 RTX 平台,其性能表现相较上一代显卡提升最高可达 6 倍,同时为游戏引入了全新的实时光线追踪和 AI 技术。201810月,本实验室开始拟搭建深度学习平台,初考虑TITAN XP显卡,但因新一代显卡性能着实有不少提升,故配置上还是选择新卡。不过有点遗憾的是,可能受中美贸易战的影响,此显卡RTX2080Ti购买一直十分紧张。直至十一月中下旬才最终确定购买合同,并于123日各部件到达,并准备完成相关组装。下面就硬软件及其使用等方面做出一些说明,以帮助实验室相关课题的研究人员及研究生更好地使用:

 

 

 

 

 

1   平台硬件配置表

名称

配置

数量

CPU

Inter Core   i7-6900k

1

CPU水冷

美商海盗船 H100i PRO RGB冷头一体式CPU水冷散热器

1

主板

华硕(ASUS X99-E WS/USB 3.1

1

内存

美商海盗船 复仇者LPX DDR4 3000   16GB

4

SSD

浦科特(PLEXTORM9PeG 512G M.2 NVMe/1TB

1

机械

 西部数据 企业级硬盘 4T 台式机械硬盘

1

GPU

技嘉    GeForce RTX 2080Ti  显卡

4

显示器

戴尔(DELL U2717D 27英寸 2K

2

机箱

美商海盗船AIR540[US Corsair Carbide Air 540

1

电源

海盗船 RM 1000w 80plus

1

键鼠

 

1

 

 

2 硬件使用注意事项

2.1 硬件使用基本说明

 

 

 

ü  主机的放置:尽量使GPU显卡竖直放置,避免几块累计压着承受重量。

ü  显示器安装:双显示器(DP接口)均最好插在第一块显卡上;重装系统时,应该连接低分辨率显示器,以避免在未装驱动时分辨率过高无法显示。

ü  上电噪声:因为风扇转速变化时容易产生噪声,另外几块显卡紧挨着,故也容易出现声音。

ü  显卡插拔:中部有各卡扣,应该按住,再往上拔才可。

 

 

 

 

 

 

 

3软件及驱动说明、下载

3.1 必装软件及驱动

 

名称

版本

备注

操作系统

Win10 64bit

(核心版本须为2018.03以上,否则影响显卡驱动安装,请更新)

深度学习集成环境

Anaconda 5.2.0

建议从清华镜像下载:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

深度学习框架

Tensorflow

1.12.0


RTX2080Ti显卡驱动

417.22

123日发布最新版本

417.22-desktop-win10-64bit-international-whql

CUDA环境

10.0

cuda_10.0.130_411.31_win10

CUDnn

7.4.1.5

cudnn-10.0-windows10-x64-v7.4.1.5

https://developer.nvidia.com/rdp/cudnn-download官网下载地址(需要注册)

 

Visual Studio 2015

Enterprise

自定义安装即可

Visual Studio   Enterprise 2015简体中文版(企业版):
 
http://download.microsoft.com/download/B/8/F/B8F1470D-2396-4E7A-83F5-AC09154EB925/vs2015.ent_chs.iso
  SHA1: 4FFA1EE3E2D3337D3EDAE550A3583ABE9C426BEF
 
激活密钥:HM6NR-QXX7C-DFW2Y-8B82K-WTYJV

Tensorflowcuda依赖

tensorflow_gpu-1.12.0-cp36-cp36m-win_amd64.whl

https://github.com/fo40225/tensorflow-windows-wheel/blob/master/1.12.0/py36/GPU/cuda100cudnn73sse2/tensorflow_gpu-1.12.0-cp36-cp36m-win_amd64.whl

 

 

3.2 可选软件

加速下载工具

Internet Download Manager v6.32

http://www.internetdownloadmanager.com/

搜索工具

Everything

https://www.voidtools.com/downloads/

 

 

 

4软件安装及其测试

4.1 安装Tensorflow – CPU 版本

4.1.1 安装Anaconda

   直接点击安装即可,需要考虑的有两点:

1)  如图1 所示选项时,选择不加入环境及利用3.6

2)  在选择vscode时点击安装,其余无疑问。

4.1.2 配置Anaconda环境变量

右键我的电脑->属性->高级选项->环境变量->系统变量->path->path中添加路径:需要添加的有三个,分别为:

~\Anaconda3

~\Anaconda3\Scripts

~\Anaconda3\Library\bin

以我配置的环境变量为例,即:

 

至此,anaconda安装完成。打开cmd输入Python,若显示Python版本则说明安装成功,如图。

 3

4.1.3 安装Tensorflow

打开Anaconda Prompt

序号

说明

命令

0

添加源

conda config --add   channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

conda config --set   show_channel_urls yes

1

创建名为TensorFlow的环境,同时安装Python3.6环境

conda create --name tensorflow   python=3.6

 

输入y回车

2

激活环境

activate tensorflow

3

安装TensorFlow

pip install tensorflow

安装完毕,会给出如图4提醒:


4

验证是否成功:输入Python,再输入import   tensorflow as tf,若下一行出现<<<,则说明TensorFlow安装成功,如图:

5

 





 

4.1.4 安装keras/MinGW

重新进入Anaconda Prompt,

序号

说明

命令

1

激活tensorflow环境

安装keras

activate tensorflow

pip install keras

 

2

 安装MinGW

conda install mingw libpython
 

 

此时keras安装成功。验证:输入Python,再输入import keras,显示Using TensorFlow   backed,则说明安装成功,如图。


 

4.1.5.安装spyder

进入Anaconda Navigator中的Anaconda搜索Spyder,并点击安装。

安装matplotlib

python -m pip install matplotlib

4.1.6 测试

打开Spydertensorflow),如图:

 复制keras官网下的实例,http://keras-cn.readthedocs.io/en/latest/getting_started/sequential_model/

import numpy as np

from keras.models import Sequential

from keras.layers import Dense, Dropout

 

# Generate dummy data

x_train = np.random.random((1000, 20))

y_train = np.random.randint(2, size=(1000, 1))

x_test = np.random.random((100, 20))

y_test = np.random.randint(2, size=(100, 1))

 

model = Sequential()

model.add(Dense(64, input_dim=20, activation=‘relu‘))

model.add(Dropout(0.5))

model.add(Dense(64, activation=‘relu‘))

model.add(Dropout(0.5))

model.add(Dense(1, activation=‘sigmoid‘))

 

model.compile(loss=‘binary_crossentropy‘,

              optimizer=‘rmsprop‘,

              metrics=[‘accuracy‘])

model.fit(x_train, y_train,

          epochs=20,

          batch_size=128)

score = model.evaluate(x_test, y_test, batch_size=128)

运行结果如下所示

4.2 安装Tensorflow – GPU 版本

4.2.1 安装显卡驱动

4.2.2 安装VS2015

安装VS2015没什么难度,只有一个选项需要自定义,别的选项都可以使用默认值。VS2015的默认安装不包括C++的编译器,必须手动勾选Visual C++,不然会面临后续的CUDA编译错误。主要原因是VS2015在安装时并没有默认安装C++的编译器,也就是CL.exe。

 

python

import tensorflow as tf

tf.__version__

 

4.2.3 安装CUDA

安装CUDA前请务必确认VS2015安装成功!这个时候你需要安装CUDA,双击我们下载的安装文件即可,一切都选择默认即可。

4.2.3 验证CUDA安装

4.2.3.1 查看cuda安装情况

打开命令行,也就是cmd然后输入“nvcc -V”,如果安装正确的话你应该看到这样的输出:

 

GPU加速深度学习: Windows安装CUDA+TensorFlow教程

 

输出中显示了CUDA的版本

 

4.2.3.2 使用VS和CUDA编译测试文件

利用everything搜索“C:\ProgramData\NVIDIA Corporation\CUDA Samples\v10.0”文件夹中的 “Samples vs2015”这个文件,然后再双击打开。选择编译生成1_Utilities中所有的文件。具体操作就是在1_Utilities上右键选择Build,注意红框部分的64位和Release



如果右边不可用,则可以点击安装vc++必要组件即可运行。

 

 

4.2.3.3 deviceQuery和bandwidthTest验证

在powershell中运行我们刚才编译出来的deviceQuery.exe,也就是在cmd中运行这个文件,下图中左下的红框显示 result = pass代表安装测试成功,

运行我们刚才编译出来的bandwidthTest.exe,方法一样,也是关注是否result = PASS


4.2.4 安装CuDnn

解压缩我们下载的CuDnn文件,得到3个文件夹:bin, include, lib。将这个三个文件夹复制的内容复制到“C:\ProgramData\NVIDIA GPU Computing Toolkit\v10.0”对应的文件夹中。

 

此外,打开系统环境变量设置,以Win10为例,确认CUDA_PATHCUDA_PATH_V10.0已经存在,手动添加 “C:\ProgramData\NVIDIA GPU Computing Toolkit\v10.0\bin”Path里面。

 

4.2.5 安装tensorflow-gpu版本

这一步与4.1的各步骤都是类似的。

conda create --name tensorflow-gpu python=3.6

activate tensorflow-gpu

随后,则安装tensorflow-gpu,命令为pip install tensorflow-gpu(如果出现已安装等提示,则使用pip install --ignore-installed tensorflow_gpu即可。)

 

此时,如果导入tensorflow:

import tensorflow as tf

则会报如下错误:


这可能是因为tensorflow1.12CUDA10.0不兼容引起的。

 

4.2.6 装补丁

官方没提供,民间大神来搞定,到这里https://github.com/fo40225/tensorflow-windows-wheel下载符合条件的tensorflowwhl文件(说明详见连接页面)。 然后利用tensorflow-gpu环境下,对其进行编译:

 pip install 文件名.whl

例如,我这里将其放置于C:\Users\ioacasDL下,然后

pip install tensorflow_gpu-1.12.0-cp36-cp36m-win_amd64.whl

至此,所有步骤均已完成 。

 

 

4.2.7 测试代码

import tensorflow as tf

#

with tf.device('/cpu:0'):

    a = tf.constant([1.0,2.0,3.0],shape=[3],name='a')

    b = tf.constant([1.0,2.0,3.0],shape=[3],name='b')

with tf.device('/gpu:0'):

    c = a+b

with tf.Session() as sess:

     print(sess.run(c))

 

      5 其他问题

5.1 win10-DPC错误:dpc watchdog violation  

更新驱动可解决,与win10系统兼容性有关。

5.2 AttributeError: module pip has no attribute main’如何解决?

如果cpython解释器上的版本已经升级到10的话 在cmd命令行中输入以下命令重新安装其他版本的pip 

python -m pip install --upgrade pip==9.0.3  --user

 

 5.3 TypeError: Type already registered for SparseTensorValue 

  这可能涉及GPU的运行机制,每次运行完都应重启console,这样可解决下面的问题。




https://blog.sciencenet.cn/blog-3396477-1407494.html

上一篇:【All about norm】一文理解深度学习中的norm:batch norm、layer norm及其意义
下一篇:【水声目标识别】水下识别公开声学数据集shipsear简介
收藏 IP: 101.83.130.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-7-23 18:16

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部