1. 首頁 > 生活百科 > >

git clone開啟云上AI開發

生活百科

摘要：相比于傳統的軟件開發，AI開發存在以下4個痛點：算法繁多；訓練時間長；算力需求大；模型需手動管理，我們可以使用云上AI開發的方式來緩解以上4個痛點 。
本文分享自華為云社區《git clone開啟云上AI開發》，作者：ModelArts開發者 。
已發布地址：https://developer.huaweicloud.com/develop/aigallery/article/detail?id=17052711-f3f5-4b53-bdbc-5d5c7cdc64fa
一、為什么需要云上AI開發？相比于傳統的軟件開發，AI開發存在以下4個痛點：
1）算法繁多；
【git clone開啟云上AI開發】2）訓練時間長；
3）算力需求大；
4）模型需手動管理
我們可以使用云上AI開發的方式來緩解以上4個痛點，云上AI開發的優勢：
  1. 任意地點接入，在線開發；
  2. 云上環境預置多種主流深度學習框架，開“箱“即用；
  3. 云端充足算力、TB級數據存儲，支持重型訓練任務；
  4. 云端平臺具備訓練任務版本化管理，AI開發更可靠、可高效；
二、云上AI開發主要步驟
git clone開啟云上AI開發

文章插圖
三、具體操作步驟步驟一 Notebook調試1.準備Python環境
進入ModelArts控制管理臺，點擊【開發環境】–> 【Notebook】，進入notebook列表頁面，點擊頁面左上角“創建”按鈕，新建一個notebook，填寫參數，下圖所示：
git clone開啟云上AI開發

文章插圖
git clone開啟云上AI開發

文章插圖
點擊“立即創建”，確認產品規格后，點擊提交，完成Notebook的創建 。
返回Notebook列表頁面 ， 等待新創建Notebook狀態變為“運行中”后，點擊名稱進入Notebook 。
進入Notebook頁面后，打開terminal，如下圖所示：
git clone開啟云上AI開發

文章插圖
輸入如下命令，查看已安裝Python環境信息
conda info -e點此鏈接GitHub - IDEA-Research/DINO ， 下面將以此開源算法為例，演示如何在華為云Notebook上快速運行,算法詳細介紹請參考 README.md  。
1）在terminal里繼續輸入如下命令，克隆倉庫
git clone https://github.com/IDEACVR/DINOcd DINO
git clone開啟云上AI開發

文章插圖
如上圖所示，表示已完成代碼克??，点击左矅啌敫M付ゲ克⑿擄磁?，技儎x榭創?。
2）查看Pytorch版本
pip list | grep torch3）安裝其他需要的包
pip install -r requirements.txt4）編譯CUDA算子
cd models/dino/opspython setup.py build install# unit test (should see all checking is True)python test.pycd ../../..# 回到代碼主目錄
git clone開啟云上AI開發

文章插圖
2.準備數據和預訓練參數文件
1）進入控制臺，將光標移動至左邊欄，彈出菜單中選擇“服務列表”->“存儲”->“對象存儲服務OBS”，如下圖所示：
git clone開啟云上AI開發

文章插圖
點擊“創建桶”按鈕進入創建界面 。
git clone開啟云上AI開發

文章插圖
開始創建 。配置參數如下：
① 復制桶配置：不選② 區域：華北-北京四③ 桶名稱：自定義，將在后續步驟使用④ 數據冗余存儲策略：單AZ存儲⑤ 默認存儲類別：標準存儲⑥ 桶策略：私有⑦ 默認加密：關閉⑧ 歸檔數據直讀：關閉
單擊“立即創建”>“確定”，完成桶創建 。
點擊創建的“桶名稱”->“對象”->“新建文件夾”，創建一個文件夾，用于存放后續數據集 。
git clone開啟云上AI開發

文章插圖
2）下載COCO 2017數據集子集 。該數據集包括train（5000張），val（5000張）及標注文件 。進入下載詳情頁面，下載方式選擇對象存儲服務（OBS），目標區域選擇華北-北京四，目標路徑選擇1中在OBS中創建的路徑 ， 用于數據集存儲 ， 如下圖所示：
git clone開啟云上AI開發

文章插圖
點擊“確認”，跳轉至我的下載頁面，可以查看數據集下載詳情 ， 等待數據集下載完成 ， 如下圖所示：
git clone開啟云上AI開發

文章插圖
返回Notebook頁面 ， 新建一個ipynb文件，編寫導入數據集腳本，運行代碼，運行完畢后，點擊任務欄上方“刷新”按鈕，即可查看導入dataset ， 如下圖所示：

推薦閱讀