对商业智能 BI, 大数据分析挖掘, 机器学习, python,R 等数据领域感兴趣的同学加微信: tstoutiao, 并注明消息来源, 邀请你进入数据爱好者交流群, 数据爱好者们都在这儿.
作者: 鲁伟, 热爱数据, 坚信数据技术和代码改变世界. R 语言和 Python 的忠实拥趸, 为成为一名未来的数据科学家而奋斗终生.
个人公众号: 机器学习实验室 (微信 ID:louwill12)
深度学习大多用来处理图片, 语言, 视频和文本等大量非结构化数据, 因而计算资源是进行深度学习开发的必要条件, 想依靠 Windows 单机玩深度学习恐怕不现实, 基于 Linux 和 gpu 服务器的深度学习开发环境配置就显得尤为重要了. 本节笔记就先学习下如何在 ubuntu16.04 系统下配置深度学习开发环境.
使用 xshell Linux 虚拟机工具
使用 xshell 工具创建与 Linux 服务器的连接, 设置好主机地址和端口号, 输入登录名和密码连上服务器.
下载和更新显卡驱动
先查看本机当前显卡信息:
Ubuntu-drivers devices
依次执行下述命令:
- sudo apt-get purge nvidia*
- sudo add-apt-repository ppa:graphics-drivers/ppa
- sudo apt-get update
- sudo apt-get install nvidia-384 nvidia-settings
之后重启服务器使更新生效
sudo shutdown -r now
重新连接服务器后查看当前的生效的显卡驱动
nvidia-smi
安装 CUDA8
以 CUDA8 为例进行安装, CUDA 是 NVIDIA 推出的用于自家 GPU 的并行计算框架, 也就是说 CUDA 只能在 NVIDIA 的 GPU 上运行, 而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥 CUDA 的作用. 安装 CUDA 的话首先必须去 Nvidia 官网下载对应的 CUDA 安装包:
https://developer.nvidia.com/cuda-80-ga2-download-archive
选择 cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64.deb 进行下载:
然后运行下列命令进行安装:
- sudo dpkg -i cuda-repo-ubuntu1604-8-0-local-cublas-performance-update_8.0.61-1_amd64.deb
- sudo apt-get update
- sudo apt-get upgrade cuda
安装完成之后在 ~/.bashrc 中设置 CUDA 的环境变量:
- export PATH=/usr/local/cuda/bin${
- PATH:+:${
- PATH
- }
- }
- export LD_LIBRARY_PATH=/usr/local/cuda/lib64${
- LD_LIBRARY_PATH:+:${
- LD_LIBRARY_PATH
- }
- }
- export CUDA_HOME=/usr/local/cuda
完了之后运行 source ~/.bashrc 生效. 再次运行 nvidia-smi 查看驱动信息如若报驱动不匹配的错误:
Failed to initialize NVML: Driver/library version mismatch
这个问题出现的原因是 kernel mod 的 Nvidia driver 的版本没有更新, 一般情况下, 重启机器就能够解决, 如果因为某些原因不能够重启的话, 也有办法 reload kernel mod. 依次执行下述命令即可解决:
lsmod | grep nvidia
- sudo rmmod nvidia_drm
- sudo rmmod nvidia_modeset
- sudo rmmod nvidia_uvm
- sudo rmmod nvidia
- sudo lsof /dev/nvidia*
- lsmod | grep nvidia
最后再次输入 nvidia-smi 即可查看到当前的驱动信息.
安装 cuDNN6.0
cuDNN(CUDA Deep Neural Network library) 是 NVIDIA 打造的针对深度神经网络的加速库, 是一个用于深层神经网络的 GPU 加速库. 如果你要用 GPU 训练模型, cuDNN 不是必须的, 但是一般会采用这个加速库. CUDA8.0 的最佳匹配的 cuDNN 版本为 6.0, 所以我们到 nvidia 官网下载 cuDNN6.0 即可. 但目前下载 cuDNN 需要注册 nvidia 账号才可下载, 可能需要多费些周折.
下载完成后按照下列命令进行解压缩和安装:
- tar -zxvf cudnn-8.0-Linux-x64-v6.0.tgz
- sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
- sudo cp cuda/lib64/libcudnn*/usr/local/cuda/lib64/ -d
安装 anaconda 并创建虚拟环境
下载 anaconda 的 Linux 版本:
wget https://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.sh
执行 bash 命令进行安装:
bash Anaconda3-5.1.0-Linux-x86_64.sh
安装完成后创建 anaconda 虚拟环境:
conda install -n 虚拟环境名称
启动虚拟环境:
source activate 虚拟环境名称
退出虚拟环境:
source deactivate 虚拟环境名称
安装深度学习主要计算框架
安装 tensorflow:
pip install tensorflow-gpu== 版本号
安装 keras:
pip install keras== 版本号
安装 pytorch:
conda install pytorch== 版本号
再安装一些其他的常用库即可搭建好深度学习开发环境.
注: 本深度学习笔记系作者学习 Andrew NG 的 deeplearningai 五门课程所记笔记, 其中代码为每门课的课后 assignments 作业整理而成.
参考资料:
http://www.52nlp.cn/深度学习主机环境配置-ubuntu-16-04-nvidia-gtx-1080-cuda-8
课程推荐
课程特色
机器学习一线工程人员讲师, 以切身的学习和工作经历直击机器学习进阶过程中的痛点;
案例实战导向. 从需求分析开始, 对机器学习项目实战的全流程进行讲解, 直击各流程的难点.
一站式服务. 涵盖需求分析 -> 数据采集 -> 数据清洗与预处理 -> 数据分析与可视化 -> 特征工程 -> 机器学习建模 -> 模型调优 -> 报告输出.
自身经验传授. 以 Python 为工具实现机器学习全流程, 是难得一见的从过来人的角度分享机器学习实战的课程.
精品质量. 精美的课程 PPT 设计, 诚恳有趣的讲解, 为的是让每位在机器学习学习道路上的朋友少踩坑, 懂方法和高效率.
上课方式
录播课程, 开课即学
在线反复观看, 有效期 2 年
上课方式: 录播学习 + VIP 会员群 + 独享问答中心 + 在线答疑 +2 年反复观看
讲师介绍
louwill - 某上市软件公司人工智能部门数据分析师.
公众号机器学习实验室的运营者, 致力于数据科学, 机器学习和深度学习的应用与研究, 有着多年的 R 语言和 Python 编程经验.
购买方式
扫描下图二维码即可购买
点击阅读原文加入 SVIP 可免费学习
现在购买只要 399!
来源: http://www.jianshu.com/p/0d1173569285