1. 首頁 > 生活百科 > >

推廣TrustAI可信分析：通過提升數據質量來增強在ERNIE模型下性能( 二 )

生活百科


0.1.3 基于特征的相似度方法(Feature-Cosin, Feature-Dot, Feature-Euc)論文：An Empirical Comparison of Instance Attribution Methods for NLPhttps://arxiv.org/abs/2104.04128
https://github.com/successar/instance_attributions_NLP
深度模型的廣泛采用激發了對解釋網絡輸出和促進模型調試的方法的迫切需求 。實例歸因方法構成了通過檢索（可能）導致特定預測的訓練實例來實現這些目標的一種方法 。影響函數（IF；Koh 和 Liang 2017）通過量化擾動單個列車實例對特定測試預測的影響，提供了實現這一目標的機制 。然而，即使逼近 IF 在計算上也是昂貴的，在許多情況下可能會令人望而卻步 。更簡單的方法（例如，檢索與給定測試點最相似的訓練示例）可能具有可比性嗎？在這項工作中，我們評估不同潛在實例歸因在訓練樣本重要性方面的一致性程度 。我們發現，簡單的檢索方法產生的訓練實例與通過基于梯度的方法（例如 IF）識別的訓練實例不同 ， 但仍然表現出與更復雜的歸因方法相似的理想特征
0.2 特征級證據分析算法簡介參考鏈接 https://blog.csdn.net/wxc971231/article/details/121184091
0.2.1 可解釋性之積分梯度算法（Integrated Gradients）論文：IntegratedGraients: Axiomatic Attribution for Deep Networks, Mukund Sundararajan et al. 2017https://arxiv.org/abs/1703.01365
我們研究將深度網絡的預測歸因于其輸入特征的問題，這是之前由其他幾項工作研究過的問題 。我們確定了歸因方法應該滿足的兩個基本公理——敏感性和實現不變性 。我們表明 ， 大多數已知的歸因方法都不滿足它們，我們認為這是這些方法的根本弱點 。我們使用這些公理來指導一種稱為集成梯度的新歸因方法的設計 。我們的方法不需要對原始網絡進行修改 ， 實現起來非常簡單；它只需要對標準梯度運算符進行幾次調用 。我們將這種方法應用于幾個圖像模型、幾個文本模型和一個化學模型，展示了它調試網絡、從網絡中提取規則的能力
一種神經網絡的可視化方法：積分梯度（Integrated Gradients），它首先在論文《Gradients of Counterfactuals》中提出，后來《Axiomatic Attribution for Deep Networks》再次介紹了它，兩篇論文作者都是一樣的，內容也大體上相同，后一篇相對來說更易懂一些，如果要讀原論文的話，建議大家優先讀后一篇 。當然，它已經是2016～2017年間的工作了，“新穎”說的是它思路上的創新有趣，而不是指最近發表 。所謂可視化，簡單來說就是對于給定的輸入x以及模型F(x)，我們想辦法指出x的哪些分量對模型的決策有重要影響，或者說對x各個分量的重要性做個排序 ， 用專業的話術來說那就是“歸因” 。一個樸素的思路是直接使用梯度?xF(x)來作為x各個分量的重要性指標，而積分梯度是對它的改進

推廣TrustAI可信分析：通過提升數據質量來增強在ERNIE模型下性能

文章插圖
參考鏈接：https://www.spaces.ac.cn/archives/7533
https://zhuanlan.zhihu.com/p/428131762
https://zhuanlan.zhihu.com/p/365815861
https://blog.csdn.net/wxc971231/article/details/121184091
0.2.2 LIME算法論文： Lime: "Why Should I Trust You?": Explaining the Predictions of Any Classifier, Marco Tulio Ribeiro et al. 2016 https://arxiv.org/abs/1602.04938
盡管被廣泛采用，機器學習模型仍然主要是黑匣子 。然而，了解預測背后的原因對于評估信任非常重要，如果一個人計劃根據預測采取行動，或者在選擇是否部署新模型時，這是至關重要的 。這種理解還提供了對模型的洞察力，可用于將不可信的模型或預測轉換為可信的模型 。在這項工作中，我們提出了 LIME，這是一種新穎的解釋技術 ， 通過在預測周圍學習可解釋的模型，以可解釋和忠實的方式解釋任何分類器的預測 。我們還提出了一種通過以非冗余方式呈現具有代表性的個體預測及其解釋來解釋模型的方法，將任務定義為子模塊優化問題 。我們通過解釋文本（例如隨機森林）和圖像分類（例如神經網絡）的不同模型來展示這些方法的靈活性 。我們通過模擬和人類受試者的新實驗展示了解釋的效用，在各種需要信任的場景中：決定是否應該信任預測、在模型之間進行選擇、改進不可信的分類器以及確定為什么不應該信任分類器.
Local: 基于想要解釋的預測值及其附近的樣本，構建局部的線性模型或其他代理模型；
Interpretable: LIME做出的解釋易被人類理解 。利用局部可解釋的模型對黑盒模型的預測結果進行解釋，構造局部樣本特征和預測結果之間的關系；
Model-Agnostic: LIME解釋的算法與模型無關，無論是用Random Forest、SVM還是XGBoost等各種復雜的模型，得到的預測結果都能使用LIME方法來解釋；

推薦閱讀