1. 查看环境
平台已经提供了一些 conda 环境, 可以用如下命令进行查看:
conda env list
结果如下:
- # conda environments:
- #
- base /opt/conda
- JupyterSystemEnv */opt/conda/envs/JupyterSystemEnv
- mxnet_py2 /opt/conda/envs/mxnet_py2
- mxnet_py3 /opt/conda/envs/mxnet_py3
- python2 /opt/conda/envs/python2
- python3 /opt/conda/envs/python3
- pytorch_py2 /opt/conda/envs/pytorch_py2
- pytorch_py3 /opt/conda/envs/pytorch_py3
- tensorflow2_py3 /opt/conda/envs/tensorflow2_py3
- tensorflow_py2 /opt/conda/envs/tensorflow_py2
- tensorflow_py3 /opt/conda/envs/tensorflow_py3
如果已有环境能够满足所需的环境依赖, 则不用进行环境安装. 直接激活已有的环境 (E.g. source activate tensorflow_py3) 或者打开某个环境的 Jupyter Notebook 即可, 可以跳过后面的操作指引.
如果已有的 conda 环境无法满足需求, 则需要创建一个新的 conda 环境. 注意不要在平台提供的 conda 环境上进行安装, 因为其位于 / opt/conda/envs 目录下, 当 Notebook 实例重启时环境会丢失. 具体操作步骤如下:
2. 创建环境
2.1 安装路径
建议将环境依赖安装于 / home/tione/notebook/envs 目录下, 官方提供的 demo 环境目录为: /home/tione/notebook/envs/wbdc2021_demo, 选手可以自定义 conda 环境名, 对应 init.sh 脚本中的 CONDA_NEW_ENV 变量.
2.2 创建 conda 环境
使用 conda create 命令来创建所需的 conda 环境. 需要注意的是, 只能使用 --prefix 模式指定安装路径来创建, 而不能用 --name 的方式创建. 因为后者创建的环境会默认保存在 / opt/conda/envs 目录下, 当 Notebook 实例重启时环境会丢失.
创建 conda 环境时, 可自行指定 python 版本和依赖库, 例如:
conda create --prefix /home/tione/notebook/envs/wbdc2021_demo -y python=3.6 ipykernel
也可以基于已有的 conda 环境进行创建, 例如:
conda create --prefix /home/tione/notebook/envs/wbdc2021_demo -y --clone tensorflow_py3
使用 conda env list 命令检查是否安装成功, 预期结果如下:
- # conda environments:
- #
- /home/tione/notebook/envs/wbdc2021_demo
- base /opt/conda
- JupyterSystemEnv */opt/conda/envs/JupyterSystemEnv
- mxnet_py2 /opt/conda/envs/mxnet_py2
- mxnet_py3 /opt/conda/envs/mxnet_py3
- python2 /opt/conda/envs/python2
- python3 /opt/conda/envs/python3
- pytorch_py2 /opt/conda/envs/pytorch_py2
- pytorch_py3 /opt/conda/envs/pytorch_py3
- tensorflow2_py3 /opt/conda/envs/tensorflow2_py3
- tensorflow_py2 /opt/conda/envs/tensorflow_py2
- tensorflow_py3 /opt/conda/envs/tensorflow_py3
可以看到, 结果中多了一个 / home/tione/notebook/envs/wbdc2021_demo 环境. 这个就是我们刚新建的 conda 环境. 此时, 打开 Launcher 也可以看到该环境的 jupyter notebook, 如下所示:
2.3 激活环境
使用 source activate 激活新建的 conda 环境, 例如:
source activate /home/tione/notebook/envs/wbdc2021_demo
2.4 安装依赖
可以在激活后的环境下安装依赖库:
pip install -r requirements.txt
安装完后请检查依赖库是否成功安装到新建的 conda 环境下.
2.5 重启修复
每次实例停止后再启动(需要等待一定时间), 之前创建的 conda 环境配置都需要重新加上. 实例启动成功后, 打开实例, 运行如下命令, 将之前创建的环境加到 conda 配置中.
conda config --add envs_dirs /home/tione/notebook/envs
最后, 使用 conda env list 命令检查是否安装成功.
3. 运行 init.sh
为了方便选手快速进行环境安装和配置, 官方将以上步骤整合为一个 demo 脚本 (init.sh) 给选手参考. 选手可以根据需要修改 init.sh 和 requirements.txt 文件. 下面介绍该脚本运行的方法:
3.1 初次安装
实例不删除, 则只需执行一次. 执行命令如下:
- cd /home/tione/notebook/wbdc2021
- ./init.sh install
- source activate /home/tione/notebook/envs/wbdc2021_demo
如果没有 init.sh 的可执行权限, 可以运行:
chmod a+x ./init.sh
3.2 重启实例
每次重启实例都需执行.
- cd /home/tione/notebook/wbdc2021
- ./init.sh fix
- source activate /home/tione/notebook/envs/wbdc2021_demo
4. 提示
4.1 大家在创建完环境之后用 pip 安装之前, 最好先 which pip 看看安装的是哪一个 pip. 只有 pip 路径是创建的 conda 环境才能安装到这个路径下, 否则可能会安装到系统默认路径下, 这样重启的时候就没有了. 或者在安装的时候也可以指定 pip 进行安装, 例如 /home/tione/notebook/envs/wbdc2021-demo/bin/pip install gensim
传送门
赛事教程汇总专题
来源: https://www.qcloud.com/developer/article/1845044