1. 首頁 > 生活百科 > >

git clone開啟云上AI開發( 二 )

生活百科


import moxing as moxmox.file.copy_parallel({obs_path},{notebook_path})說明：
{obs_path}為OBS存儲數據集的位置{notebook_path}為數據集在notebook中的存儲路徑

git clone開啟云上AI開發

文章插圖
3）下載DINO 模型 checkpoint “checkpoint0011_4scale.pth”，下載完成后 ， 返回Notebook頁面 ， 在DINO頁面 ， 創建文件夾ckpts，用于存放下載的checkpoint 。
git clone開啟云上AI開發

文章插圖
進入文件夾，點擊任務欄上方”上傳“按鈕，選擇下載完成的checkpoint 路徑，文件大小超過100MB，需選擇OBS中轉，等待數據上傳完畢，如下圖所示：
git clone開啟云上AI開發

文章插圖
3.運行代碼
1）執行下面的命令,評估預訓練模型,你可以期待得到最終的AP大約49.0 。
bash scripts/DINO_eval.sh /path/to/your/COCODIR /path/to/your/checkpoint說明：
/path/to/your/COCODIR 為Notebook數據集的存儲路徑/path/to/your/checkpoint 為Notebookcheckpoint存儲路徑
如下圖所示：
git clone開啟云上AI開發

文章插圖
整個過程約等待13分鐘左右，運行結果如下：
git clone開啟云上AI開發

文章插圖
2）推理及可視化
打開DINO目錄下的inference_and_visualization.ipynb，選擇Kernel Pytorch-1.8，如下圖所示：
git clone開啟云上AI開發

文章插圖
修改代碼：
...model_checkpoint_path = "ckpts/checkpoint0011_4scale.pth"# 修改checkpoint路徑...args.coco_path = "../dataset"# 修改coco數據集路徑運行代碼查看推理結果 。
git clone開啟云上AI開發

文章插圖
步驟二 運行訓練作業1.保存鏡像
1）返回ModelArts管理控制臺，在左側菜單欄中選擇**“開發環境 > Notebook”**，進入新版Notebook管理頁面 。在Notebook列表中，點擊名稱進入創建的Notebook詳情頁
git clone開啟云上AI開發

文章插圖
2）點擊右側“更多”，選擇“保存鏡像”
git clone開啟云上AI開發

文章插圖
3）在保存鏡像對話框中，設置組織、鏡像名稱、鏡像版本和描述信息 。單擊“確認”保存鏡像 。
git clone開啟云上AI開發

文章插圖
在“組織”下拉框中選擇一個組織 。如果沒有組織，可以單擊右側的“立即創建” ， 創建一個組織 。創建組織的詳細操作請參見創建組織 。
同一個組織內的用戶可以共享使用該組織內的所有鏡像 。
4）鏡像會以快照的形式保存 ， 保存過程約5分鐘，請耐心等待 。此時不可再操作實例（對于打開的JupyterLab界面和本地IDE 仍可操作） 。
5）鏡像保存成功后，實例狀態變為**“運行中”**，用戶可在“鏡像管理”頁面查看到該鏡像詳情 。
6）單擊鏡像的名稱 ， 進入鏡像詳情頁，可以查看鏡像版本/ID，狀態，資源類型 ， 鏡像大小，SWR地址等 。
7）還可在左側菜單欄中選擇**“鏡像管理”**，查看鏡像列表及詳情 ， 如下圖所示：
git clone開啟云上AI開發

文章插圖
2.上傳訓練代碼
返回Notebook頁面，在新建的ipynb中輸入以下代碼，完成代碼上傳至OBS桶中
mox.file.copy_parallel("./DINO/","obs://dino-coco/DINO")如下圖所示：
git clone開啟云上AI開發

文章插圖
3.創建訓練作業
1）在左側菜單欄中選擇**“訓練管理 > 訓練作業”**，點擊右上角“創建訓練作業” ， 如下圖所示：
git clone開啟云上AI開發

文章插圖
2）參數配置
創建方式：自定義算法
啟動方式：自定義，選擇已保存鏡像
啟動命令：
cd ${MA_JOB_DIR}/DINO && python main.py -c config/DINO/DINO_4scale.py --options dn_scalar=100 embed_init_tgt=TRUE dn_label_coef=1.0 dn_bbox_coef=1.0 use_ema=False dn_box_noise_scale=1.0訓練輸入：選擇OBS桶內上傳代碼路徑
訓練輸出：選擇創建的OBS桶，點擊新建文件夾，創建一個文件夾，用于存放訓練輸出，如下圖所示：

推薦閱讀