【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源
日期: 2020-05-15 分类: 跨站数据 291次阅读
其实ModelArts的帮助手册上已经有一篇文档:https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0021.html,但是我觉得可能开发者还是会存在一些小疑问,所以我自己在本地做了尝试,截图说明过程。
我们实际上使用一个PyCharm ToolKit工具来帮助建立从本地pyCharm IDE到ModelArts的连接通道,本案例我使用MXNet实现手写数字图像识别应用的示例,在本地快速完成代码编写,发布到ModelArts公有云完成模型的训练和模型生成,生成的模型可以进一步快速进行部署(本文没有覆盖该步骤)。
安装toolkit前需要先安装2019.2版本(目前toolkit仅适配该版本)的pycharm,下载地址是:
https://download.jetbrains.com/python/pycharm-professional-2019.2.exe?_ga=2.11170941.815358500.1587189937-686177363.1586569505,也可以去华为云官网下载(好处是那里会持续更新版本,较为及时):https://developer.huaweicloud.com/tools。
需要注意,如果已经安装了高版本的pyCharm,需要首先卸载(自动)已安装的pyCharm:
下载一个工具Pycharm-ToolKit-PC-2019.2-HEC-1.3.0.zip,连接本地IDE与云之间的链路:
https://www.jetbrains.com/pycharm/download/other.html
解压后看到一堆jar文件,
接着回到pyCharm IDE,打开Settings:
找到Plugins,选择一个插件:
点击RestartIDE:
重启后看到如下界面:
然后我们需要去ModelArts网站申明秘钥:
申请秘钥:
短信验证码注册成功后,请务必把csv文件保存到本机。
回到pyCharm IDE:
注意,如果填写秘钥键值对成功后,Edit Credential应该是要打钩的,如果没有,请查看网络连接是否存在问题,例如不允许连接外网,或是对访问外网有限制。
注意,需要你重新点击edit credential按钮,退出后就能看到打钩了。
这样我们就完成了pyCharm IDE与ModelArts的对接工作,进入下一步,实际训练一个模型。
首先,下载手写字的数据集:https://modelarts-cnnorth1-market-dataset.obs.cn-north-1.myhuaweicloud.com/dataset-market/Mnist-Data-Set/archiver/Mnist-Data-Set.zip
登录华为云上传OBS:
创建两个文件夹,一个用于存放数据集,一个用于存放训练生成的日志(需要传回到pyCharm IDE并显示):
接着在pyCharm打开工程,点击“Run Training Job”:
填写参数,可以参考ModelArts训练模型时填写的参数:
训练完成后,训练模型保存在OBS中 /工程名/output/V0006/
点击这里,了解更多精彩内容
除特别声明,本站所有文章均为原创,如需转载请以超级链接形式注明出处:SmartCat's Blog
精华推荐