9、各進程優化器使用梯度更新其模型副本權重 。由于初始化時各進程模型、優化器權重一致，每次反向傳播梯度也保持一致，則所有進程的模型在整個訓練過程中都能保持一致 。
10、由于所有進程權重保持一致 ， 我們只需通過一個進程保存即可 。
11、定義rank 0的IP和端口，使用mp.spawn，只需在主進程中定義即可 ， 無需分別在子進程中定義 。
12、創建子進程，傳入：子進程調用的函數（該函數第一個參數必須是rank）、子進程函數的參數（除了rank參數外）、子進程數、是否等待所有子進程創建完畢再開始執行 。
參考： https://pytorch.org/tutorials/intermediate/ddp_tutorial.html
【使用Pytorch進行多卡訓練】
推薦閱讀
- AVX圖像算法優化系列二: 使用AVX2指令集加速查表算法。
- springboot 多線程的使用
- 指南針使用的方法（大自然指南針有哪些)
- AspNetCore中 使用 Grpc 簡單Demo
- 分布式存儲系統之Ceph集群RadosGW基礎使用
- springboot H2 linux下搭建使用
- 修麗可色修精華使用步驟_修麗可精華疊加順序
- 沒有使用IaC的DevOps系統都是耍流氓
- 小米盒子使用方法（小米盒子4永久vip)
- 我的世界高級火箭模組信標怎么用（我的世界高級火箭mod使用)