机器学习笔记 - 2使用virtualenv管理Python
python
virtualenv
virtualenvwrapper
pip
freeze
1.1 安装系统常用工具
yum -y install wget
yum -y install yum-utils
1.2 安装编译相关工具
yum -y groupinstall "Development tools"
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel
1.3 下载python安装包,并解压
wget https://www.python.org/ftp/python/3.9.2/Python-3.9.2.tgz
tar -zxf Python-3.9.2.tgz
1.4 编译安装python
mkdir /usr/local/python3 #创建编译安装目录
cd Python-3.9.2
--prefix=/usr/local/python3
make && make install
安装后,出现下面两行就成功了
Installing collected packages: setuptools, pip
Successfully installed pip-20.2.3 setuptools-49.2.1
1.5 解决Python2和Python3兼容的问题,并创建Python3软连接
# 查看当前python软连接
ll /usr/bin/ |grep python
lrwxrwxrwx. 1 root root 7 Mar 16 00:55 python -> python2
lrwxrwxrwx. 1 root root 9 Mar 16 00:55 python2 -> python2.7
-rwxr-xr-x. 1 root root 7216 Oct 31 2018 python2.7
默认系统安装的是python2.7
1.5.1、删除python软连接
rm -rf /usr/bin/python
1.5.2、配置软连接为python3
#添加python3的软链接
ln -s /usr/local/python3/bin/python3 /usr/bin/python
1.5.3、这个时候看下python默认版本
python -V
1.5.4、删除默认pip软连接,并添加pip3新的软连接
rm -rf /usr/bin/pip
1.5.5、添加 pip3 的软链接
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip
1.6、更改yum配置
因为yum要用到python2才能执行,否则会导致yum不能正常使用(不管安装 python3的那个版本,都必须要做的)
vi /usr/bin/yum
把 #! /usr/bin/python 修改为 #! /usr/bin/python2
vi /usr/libexec/urlgrabber-ext-down
把 #! /usr/bin/python 修改为 #! /usr/bin/python2
vi /usr/bin/yum-config-manager
#!/usr/bin/python 改为 #!/usr/bin/python2
https://www.python.org/downloads/
https://www.python.org/ftp/python/
直接下载exe文件,点击安装即可。
3.1 安装virtualenv
pip install virtualenv
安装完成以后,可以使用命令快速的创建、激活虚拟环境。
3.2 创建软连接
ln -s /usr/local/python3/bin/virtualenv /usr/bin/virtualenv
#创建python3的虚拟环境
virtualenv --system-site-packages -p python3 venv
virtualenv -p pythonX venv3
注:pythonX代替为自己系统已有的版本,会创建一个干净的虚拟环境;
3.3 查看已经创建python3的虚拟环境
cd /root/.virtualenvs/
ls
3.4 激活当前文件夹的沙盒
source venv/bin/activate
--在以上完成之后就可以通过命令pip install 来安装python包了,这里安装python包就不需要root权限了,直接就可以安装。
--在venv虚拟环境中,使用pip安装的包都不会再是全局性的包,只会在当前的虚拟环境中起作用,避免了系统环境的污染。
3.5 安装测试
pip install pylint # 安装语法检测的包. pylint会被安装到当前虚拟环境,而不是全局环境
pip install flask # Web微框架,快速实现Web服务. flask会被安装到当前虚拟环境,而不是全局环境
3.6 获得帮助
virtualenv -h
3.7 查看virtualenv版本
virtualenv --version
3.8 退出当前虚拟环境,进入全局虚拟环境
deactivate
4 安装virtualenvwrapper
4.1 安装virtualenvwrapper
安装virtualenv以后,已经可以创建和激活虚拟环境了,但是使用起来却不是那么的方便。
我们可以在安装一个virtualenvwrapper工具,它可以更加方便的帮我们管理虚拟环境。
virtualenvwrapper是virtualenv的扩展管理包,用于更方便管理虚拟环境,它可以做:
a.将所有虚拟环境整合在一个目录下
b.管理(新增,删除,复制)虚拟环境
c.切换虚拟环境
pip install virtualenvwrapper
pip install virtualenvwrapper-win(win10下安装)
4.2 添加环境变量
4.2.1 安装完成以后,在~/.bashrc文件下添加以下内容:
vi /root/.bashrc
# export WORKON_HOME=/root/.virtualenvs
# export WORKON_HOME=~/.envs #将各项目的虚拟环境文件夹统一放在~/.virtualenvs文件夹下
export WORKON_HOME=$HOME/.virtualenvs
source /usr/local/python3/bin/virtualenvwrapper.sh
4.2.2 保存以后,再执行以下指令:
source ~/.bashrc
4.3 管理虚拟环境
4.3.1 新建虚拟环境
使用系统默认Python环境新建
mkvirtualenv my_virtual # 创建并切换到my_virtual虚拟环境,同时也会激活my_virtual虚拟环境,此时虚拟环境my_virtual就存放在~/.virtualenvs文件夹下
使用指定Python环境新建
mkvirtualenv -p /usr/bin/pythonX my_virtual
4.3.2 激活虚拟环境
source /root/.virtualenvs/my_virtual/bin/activate
4.4 切换到my_virtual2虚拟环境并激活
workon my_virtual2
4.5 查看环境(在全局环境或者在当前虚拟环境都可以执行下面命令)
lsvirtualenv
4.6 退出虚拟环境
deactivate
4.7 删除虚拟环境
rmvirtualenv my_virtual
pip安装
pip包含在Python中,Python安装好之后pip已经被安装
查看版本
pip -V
安装包
pip install
显示安装包及版本
pip list
卸载某个安装包
pip uninstall
pip基本命令汇总
pip install [安装包安装 (Install packages.)]
pip download [下载下载包 (Download packages.)]
pip uninstall [卸载卸载包 (Uninstall packages.)]
pip freeze [冻结按需求格式安装的包的输出 (Output installed packages in requirements format.)]
pip list [列表列出已安装的包 ( List installed packages.)]
pip show [显示已安装软件包的信息 ( Show information about installed packages.)]
pip check [检查已安装的软件包是否具有兼容的依赖项 ( Verify installed packages have compatible dependencies.)]
pip config [配置管理本地和全局配置 ( Manage local and global configuration.)]
pip search [搜索PyPI查找包 (Search PyPI for packages.)]
pip wheel [根据您的需求构建轮子 (Build wheels from your requirements.)]
pip hash [包存档的哈希计算值 ( Compute hashes of package archives.)]
pip completion [用于命令完成的辅助命令 ( A helper command used for command completion.)]
pip debug [显示对调试有用的信息 ( Show information useful for debugging.)]
pip help [帮助显示命令的帮助 (Show help for commands.)]
pip安装TensorFlow
pip install tensorflow
TensorFlow被广泛应用于各类机器学习(machine learning)算法的编程实现,其前身是谷歌的神经网络算法库DistBelief。
开源深度学习库 TensorFlow 允许将深度神经网络的计算部署到任意数量的 CPU 或 GPU 的服务器、PC 或移动设备上,且只利用一个 TensorFlow API。
你可能会问,还有很多其他的深度学习库,如 Torch、Theano、Caffe 和 MxNet,那 TensorFlow 与其他深度学习库的区别在哪里呢?
包括 TensorFlow 在内的大多数深度学习库能够自动求导、开源、支持多种 CPU/GPU、拥有预训练模型,并支持常用的NN架构,如递归神经网络(RNN)、卷积神经网络(CNN)和深度置信网络(DBN)。
TensorFlow 则还有更多的特点,如下:
-- 支持所有流行语言,如 Python、C++、Java、R和Go。
-- 可以在多种平台上工作,甚至是移动平台和分布式平台。
-- 它受到所有云服务(AWS、Google和Azure)的支持。
-- Keras - 高级神经网络 API,已经与 TensorFlow 整合。
-- 与 Torch/Theano 比较,TensorFlow 拥有更好的计算图表可视化。
-- 允许模型部署到工业生产中,并且容易使用。
-- 有非常好的社区支持。
-- TensorFlow 不仅仅是一个软件库,它是一套包括 TensorFlow,TensorBoard 和 TensorServing 的软件。
官方网站(中文):
https://tensorflow.google.cn/
pip安装opencv库
pip install opencv_python
OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉和机器学习软件库,
OpenCV是一个跨平台的库,使用它我们可以开发实时的计算机视觉应用程序。
它主要集中在图像处理,视频采集和分析,包括人脸检测和物体检测等功能。
OpenCV官方网站:
https://opencv.org/
pip安装django库
pip install django
Django是一个开放源代码的Web应用框架,由Python写成。
Django是高水准的Python编程语言驱动的一个开源模型.视图,控制器风格的Web应用程序框架,它起源于开源社区。
使用这种架构,程序员可以方便、快捷地创建高品质、易维护、数据库驱动的应用程序。
django官方网站:
https://www.djangoproject.com/
pip安装keras库
pip install keras
pip install keras==2.0.8(指定版本,不建议)
pip install keras-gpu
pip卸载指令:pip uninstall keras(指定包)
Keras是一个由Python编写的开源人工神经网络库,可以作为Tensorflow、Microsoft-CNTK和Theano的高阶应用程序接口,进行深度学习模型的设计、调试、评估、应用和可视化。
Keras官方网站
https://keras.io/
Keras和TensorFlow2关系
TensorFlow2 是一个端到端的开源机器学习平台。您可以将其视为可 的基础结构层 区分编程 。它结合了四个关键功能:
在CPU,GPU或TPU上高效执行低级张量操作。
计算任意微分表达式的梯度。
将计算扩展到许多设备(例如 的 Summit超级计算机 ,橡树岭国家实验室 ,它跨越27,000个GPU)。
将程序(“图形”)导出到外部运行时,例如服务器,浏览器,移动和嵌入式设备。
Keras是TensorFlow 2的高级API,这是一个易于解决的,高效的界面,用于解决机器学习问题,并且侧重于现代深度学习。
它为迭代速度高的机器学习解决方案的开发和运输提供了必要的抽象和构造块。
Keras使工程师和研究人员能够充分利用TensorFlow 2的可伸缩性和跨平台功能:
您可以在TPU或大型GPU集群上运行Keras,还可以导出Keras模型以在浏览器或移动设备上运行设备。
pip安装ipython
1、安装
pip install ipython
2、启动
python /usr/local/python3/bin/ipython
-- ipython是一个python的交互式shell,比默认的python shell好用得多,支持变量自动补全,自动缩进,支持bash shell命令,内置了许多很有用的功能和函数。
-- 学习ipython将会让我们以一种更高的效率来使用python。同时它也是利用Python进行科学计算和交互可视化的一个最佳的平台。
IPython提供了两个主要的组件:
1.一个强大的python交互式shell
2.供Jupyter notebooks使用的一个Jupyter内核(IPython notebook)
IPython的主要功能如下:
1.运行ipython控制台
2.使用ipython作为系统shell
3.使用历史输入(history)
4.Tab补全
5.使用%run命令运行脚本
6.使用%timeit命令快速测量时间
7.使用%pdb命令快速debug
8.使用pylab进行交互计算
9.使用IPython Notebook
ipython官方网站:
https://pypi.org/project/ipython/
7.1 安装freeze
* 上面如果安装好之后,不需要再安装
7.2 pip导出安装包:产生requirements.txt文件
pip freeze > requirements.txt
这将会创建一个requirements.txt文件,其中包含了当前环境中所有包及 各自的版本的简单列表。
您可以使用 “pip list”在不产生requirements文件的情况下, 查看已安装包的列表。
这将会使另一个不同的开发者 在以后安装相同版本的相同包变得容易。
7.3 pip在线安装:
在另一个环境下使用环境迁移。在新环境中时,在新虚拟环境执行以下命令安装依赖包。
pip install -r requirements.txt
8 参考文档
https://www.python.org/
https://tensorflow.google.cn/
https://opencv.org/
https://www.djangoproject.com/
https://keras.io/
https://pypi.org/project/ipython/