anaconda

anaconda

安装

  • 在tuna上下载anaconda安装包

  • 在终端执行命令安装bash Anaconda-name.sh

  • 更换清华源：https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/

  • 显示下载路径conda config --set show_channel_urls yes

  • 新建环境conda create --name ML python=3.7

    • 好处在于不用更新conda，这个环境出错的话，可以把这个环境全部删除了，而base环境无法删除，测试新项目所需要的python包时，最好也是新建环境。

基本操作

环境相关操作

  • 查看conda信息conda info

  • 进入base环境conda activate base

  • 创建新环境 conda create --name ML python=3.7

  • 注意，这样安装的环境不会安装python，输入which python命令后会显示系统的Python，/usr/bin/python，但是，安装完conda install numpy,再输入which python后就显示了。

  • 查看所有的环境conda info --envs

  • 激活新环境conda activate ML

  • 如果conda没有添加到PATH，则用source anaconda3/bin/activate来激活环境

  • 退出base环境conda deactivate

  • 删除环境conda remove -n name --all

  • 卸载anaconda：直接删除anaconda3文件夹即可。

安装升级卸载查看包

  • 更新conda conda update conda

  • 更新所有第三方包 conda update --all

  • 查看包conda list

  • 安装包conda instll numpy

  • 安装时指明源用-c参数conda install numpy -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

  • 卸载包conda uninstall numpy

  • 升级包conda update numpy

pip安装升级卸载包

  • 安装包pip install numpy

  • 卸载包pip uninstall numpy

  • 升级包pip install --upgrade numpy

配置jupyter notebook和jupyter lab

  1. 一般情况下anaconda中自带jupyter notebook，直接在终端使用jupyter notebook即可进入

  2. 二者配置相同，在终端jupyter lab进入

  3. 自己新创建的环境中一般没有配置，用conda install jupyter安装即可

  4. 配置远程服务

    • 生成配置文件jupyter notebook --generate-config

    • 修改配置文件vim ~/.jupyter/jupyter_notebook_config.py，在文件头部添加如下字段：

c.NotebookApp.allow_remote_access = True
c.NotebookApp.notebook_dir = 'd:\\' #更改默认打开根目录
c.NotebookApp.ip='*' #意思是任意IP都可以访问
c.NotebookApp.open_browser = False  #意思是默认不打开浏览器
c.NotebookApp.port =8888 #随便指定一个你想要的端口,后面可以从这个端口使用

在云主机上配置jupyter lab 服务，一般需要在配置文件中添加 c.NotebookApp.allow_remote_access = True

  • 后台运行jupyter lab

nohup jupyter notebook > /dev/null 2>&1 &

  • jupyter notebook导出pdf

最好的方法是导出为html或者markdown，然后再转换为pdf。

conda和pip

Conda是一种通用包管理系统，旨在构建和管理任何语言的任何类型的软件。因此，它也适用于Python包。 Conda和pip服务于不同的目的，并且只在一小部分任务中直接竞争：即在孤立的环境中安装Python包。

在conda环境中一般会有pip，用which pip命令可以查看到当前用的pip即为当前conda环境中的pip。

  • pip换源

临时修改：

pip install package -i https://pypi.tuna.tsingahua.edu.cn/simple

  • 永久修改：

修改~/.pip/pip.conf(没有就创建一个)，内容如下：

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

如果遇到网络状态不好的情况，延长等待的时间可能会解决ReadTimeoutError的问题，命令如下：

pip install package --default-timeout=100

安装pytorch

驱动

  • 如果要用cuda，本机必须安装cuda驱动，在官网选择对应的操作系统和显卡型号下载安装即可。

  • 查看驱动版本cat /proc/driver/nvidia/version

toolkit

conda环境提供了cudatoolkit和cudnn，无需在系统安装cudatoolkit。

设置cuda可见性

可以设置系统变量

export CUDA_DEVICE_ORDER="PCI_BUS_ID"
export CUDA_VISIBLE_DEVICES="0,1,3"

或者在程序里面设置

os.environ["CUDA_DEVICE_ORDER"]="PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"]="0,2"

查看官网看最新的安装命令conda install pytorch torchvision cudatoolkit=10.2 -c pytorch

-c不能省略

特别注意：这里选择cudatoolkit版本时需要注意cuda的驱动版本。官网

CUDA Toolkit
Linux x86_64 Driver Version
Windows x86_64 Driver Version

CUDA 10.2.89

>= 440.33

>= 441.22

CUDA 10.1 (10.1.105 general release, and updates)

>= 418.39

>= 418.96

CUDA 10.0.130

>= 410.48

>= 411.31

CUDA 9.2 (9.2.148 Update 1)

>= 396.37

>= 398.26

CUDA 9.2 (9.2.88)

>= 396.26

>= 397.44

CUDA 9.1 (9.1.85)

>= 390.46

>= 391.29

CUDA 9.0 (9.0.76)

>= 384.81

>= 385.54

CUDA 8.0 (8.0.61 GA2)

>= 375.26

>= 376.51

CUDA 8.0 (8.0.44)

>= 367.48

>= 369.30

CUDA 7.5 (7.5.16)

>= 352.31

>= 353.66

CUDA 7.0 (7.0.28)

>= 346.46

>= 347.62

安装tensorflow

不要用pip安装，因为pip安装需要自己去安装其他的包，用conda一键安装，同样不需要本机安装cudatoolkit。

conda create --name tf1.14 python=3.7
conda activate tf1.14
conda install tensorflow-gpu==1.14

安装opencv

用pip安装不会安装其他的依赖pip install opencv-python，可能还需要执行apt install libgl1-mesa-glx

其他

  • 如果某些包下载过慢，可以在网站下载后缀为.conda的包，放入文件夹~/anaconda3/pkgs/，然后采用本地安装的方式，如安装tensorflow-base-1.14.0-gpu_py37he45bfe2_0.conda，安装命令为conda install --use-local tensorflow-base-1.14.0-gpu_py37he45bfe2_0.conda

PreviousflaskNextdocker

Last updated

Was this helpful?