評價指標有哪些 十個評價指標,帶你認識推薦系統?

隨著移動互聯網的飛速發展 , 網絡中的信息量呈指數式增長 , 大量的商品、資訊、知識、視頻、音樂等內容和資源可供用戶選擇 , 信息過載問題日益突出 。而推薦系統是解決信息過載最有效的方式 , 因此 , 基于大數據的推薦系統已經成為了移動互聯網的研究熱點 。
其實推薦系統在上世紀末就已經出現了 , 亞馬遜在1998年就通過基于ITEM的協同過濾技術 , 為數百萬客戶提供商品選購建議 。而學術界對于推薦系統的研究也一直在進行著 。
雖然隨著云計算、大數據、人工智能等新興科技的發展 , 算力、數據和算法的提升 , 使推薦系統的性能越來越好 , 但針對推薦系統的評價體系則基本保持了穩定 , 只是各項指標的精度在不斷提升 。
了解推薦系統 , 可以從認識推薦系統的評價指標開始 , 主要包括以下十點:
1.用戶滿意度:
用戶作為推薦系統的重要參與者 , 其滿意度是評測推薦系統的最重要指標 。有時 , 互聯網企業會通過調查問卷的方式 , 或者是簡單的滿意或不滿意的按鈕 , 來獲得用戶的滿意度反饋 。但更多的時候 , 用戶滿意度是通過對用戶某些行為的統計進行量化分析后計算出來的 。比如在移動電商應用中 , 用戶如果購買了推薦的商品 , 就表示他們在一定程度上滿意系統的推薦結果 , 而購買轉化率就可以用于度量用戶的滿意度 。此外 , 點擊率、分享率、收藏率、停留時間等指標 , 也都可能在度量用戶滿意度方面具備一定的權重 。
2. 預測準確度
預測準確度只是泛泛的名稱 , 具體要看你希望預測什么內容 , 例如預測用戶對系統推薦的電影的觀后評分?或是預測系統推薦的歌曲列表中 , 用戶最終選擇了幾首加入到了他的歌單?但總體來說 , 預測準確度是度量一個推薦系統或者推薦算法在預測用戶行為的準確性方面最重要的指標 。提高預測準確度通常依賴于算法和模型精度的提升 , 所以更具備學術層面的研究價值 。大數據、機器學習等熱門技術 , 與預測準確度之間的關系極為密切 , 彼此之間互相促進 , 技術的發展推動了預測準確度的提升 , 而似乎永無止境的對預測準確度的提升需求 , 也帶動了技術層面的不斷投入 。
3. 覆蓋率
覆蓋率用來描述一個推薦系統對長尾內容或商品的發掘能力 。關于覆蓋率的定義 , 最簡單的理解是推薦系統能夠推薦出來的物品 , 占平臺中全部物品的比例 。以圖文內容推薦為例 , 自媒體作者可能會很關心他們的內容有沒有被推薦給讀者 , 而對于覆蓋率達到100%的推薦系統 , 則意味著每篇內容都被推薦給了至少一個用戶 。但對于僅提供熱門文章排行榜的系統來說 , 例如一些大學論壇的首頁可能只顯示每日十大文章 , 這樣的推薦系統 , 它的覆蓋率是很低的 , 因為它只會推薦那些被大量閱讀的文章 , 而這些文章在所有文章中的占比非常小 。
4. 多樣性
用戶的興趣是非常廣泛的 , 在一個視頻應用中 , 用戶可能既喜歡看燒腦電影 , 也喜歡看動作大片 。那么 , 為了滿足用戶廣泛的興趣 , 推薦列表需要能夠覆蓋用戶不同的興趣領域 , 即推薦結果需要具有多樣性 。而想提升推薦系統的多樣性 , 那么就需要在較大的時間跨度上去識別和理解用戶的興趣 。
5. 新穎性
所謂新穎 , 就是指給用戶推薦那些他們以前沒有聽說過的內容或商品 , 例如在視頻應用中應該盡可能多地向用戶推薦他們沒有看過的電影 。而考慮到很多用戶在某個應用中的使用粘性可能并不高 , 例如一個用戶可能同時是多個視頻應用的用戶 , 所以僅僅依靠用戶在自己系統中的行為記錄來保證推薦的新穎性是不夠的 。除此之外比較簡單方法是基于內容或商品的平均流行度去進行推薦 , 因為越不熱門的東西越可能讓用戶覺得新穎 。不過 , 向用戶推薦不流行的內容或商品 , 其實是犧牲了一定的推薦精度的 , 所以我們需要權衡該指標與其它指標之間的平衡 , 這不僅在于技術層面的考量 , 可能也在于商業層面的考量 。

推薦閱讀