前言
因为最近在Mac上跑模型实在是心累,所以就想要找一些免费的云服务器来进行模型训练
经了解,Google推出的免费GPU服务器Google Colab(Colaboratory)就很合适
Google Colab特征
Colaboratory
是一个 Google 研究项目,旨在帮助传播机器学习培训和研究成果。它是一个Jupyter Notebook
环境,不需要进行任何设置就可以使用,并且完全在云端运行。
关于Jupyter Notebook
的用法可以参考Jupyter Notebook入门Colaboratory
笔记本存储在 Google 云端硬盘中,并且可以共享,就如同您使用 Google 文档或表格一样。Colaboratory
可免费使用。- 利用
Colaboratory
,可以方便的使用Keras、TensorFlow、PyTorch
等框架进行深度学习应用的开发。
配置方法
在谷歌云盘上创建文件夹
当登录账号进入谷歌云盘时,系统会给予15G免费空间大小。由于Colab
需要依靠谷歌云盘,故需要在云盘上新建一个文件夹。
创建Colaboratory
进入创建好的文件夹,点开新建-更多
如果在更多栏里没有发现Colaboratory,选择关联更多应用,搜索Colaboratory,选择关联
创建完成
创建完成后,会自动生成一个Jupyter Notebook
关于Jupyter Notebook
的用法可以参考Jupyter Notebook入门
设置GPU运行
选择
修改-笔记本设置
将硬件加速器设置为GPU
运行.py文件
安装必要库
输入以下代码,并执行(
crtl+F9
)!apt-get install -y -qq software-properties-common python-software-properties module-init-tools !add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null !apt-get update -qq 2>&1 > /dev/null !apt-get -y install -qq google-drive-ocamlfuse fuse from google.colab import auth auth.authenticate_user() from oauth2client.client import GoogleCredentials creds = GoogleCredentials.get_application_default() import getpass !google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL vcode = getpass.getpass() !echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
运行后,会出现以下提示
先点开相应的链接,选择自己的谷歌账号,并允许
最后会得到相应的代码,输入相应的框中即可
挂载云端硬盘
输入下面命令,执行即可
!mkdir -p drive !google-drive-ocamlfuse drive -o nonempty
测试
我们使用Keras
库的mnist_cnn.py来进行一个简单的测试
安装Keras
输入下面命令,执行即可
!pip install -q keras
Hello Mnist!
将代码粘入jupyter笔记本中,运行,即可开始奇妙的Google Colab之旅
每一个epoch都只用了十多秒