1. 首頁 > 生活百科 > >

dropbox怎么用(iPad使用dropbox)( 三 )

dropboxipad


模型性能指標：我們為機器學習團隊使用的 Cannes v1 的模型建立了指標，并建立了自己的流水線來計算這些指標 。我們關心的指標包括：

  • 混淆矩陣，尤其需要注意假陰性率的變化 。
  • ROC 曲線下的面積：雖然我們直接監視了混淆矩陣的統計信息，但我們也希望計算 AUROC，以便將來比較模型的性能 。
上述模型性能指標每小時計算一次，并存儲在 Hive 中 。我們使用 Superset 來可視化重要的指標，并創建了一個 Cannes 的實時變化儀表板 。Superset 是在各項指標的基礎之上構建的，如果底層模型行為發生變化，它會趕在客戶受到影響之前主動通知我們 。
然而，僅憑監視和警報不足以確保系統健康，明確責任并建立上報問題的流程也是必要的 。例如，我們記錄了機器學習系統的上游依賴項，因為它們可能影響到模型的結果 。此外，我們還創建了一個手冊，詳細介紹了解決問題的步驟，幫助值班的工程師判斷問題來自 Cannes 內部還是其他的其他部分，并提供了在根本原因是機器學習模型的情況下，上報問題的流程 。機器學習團隊與非機器學習團隊之間的緊密合作有助于確保 Cannes 的平穩運行 。
目前的狀況與未來的探索目前 Cannes 已部署到幾乎所有的 Dropbox 流量中了 。結果，我們每年 170 萬美元的預熱成本變成了如今每年 9,000 美元的機器學習基礎設施（主要用于建議后臺和預測服務的流量增加） 。
對于該項目的下一個迭代，我們有許多期待的探索方面 。如今 Cannes 已投入生產，我們可以嘗試更為復雜的模型類型 。我們還可以根據更詳細的內部費用和使用情況數據，為模型開發更細致的成本函數 。
我們還討論過新建一個預覽應用程序，通過機器學習更細致地控制預測決策，而不是針對每個文件進行預熱/不預熱的二元分類 。我們可以通過具有預見性的預熱來發揮更大的創造力，降低成本，同時又不會破壞用戶的文件預覽體驗 。
我們希望將 Cannes 項目積累的經驗和工具推廣到 Dropbox 的其他基礎設施 。利用機器學習優化基礎設施是一個振奮人心的投資領域 。
參考鏈接：https://dropbox.tech/machine-learning/cannes--how-ml-saves-us--1-7m-a-year-on-document-previews

推薦閱讀