1. 首頁 > 生活百科 > >

以keep為例 如何設計實驗？( 二 )

小知識如何設計實驗


（2）實驗流量分配及時長（點擊率與訪問量為虛擬數據）
如果預期能夠將帖子頁關注按鈕的點擊率從5%提升到6% ， 同時已知帖子頁每天的訪問量是10000 。
流量分配：實驗組每天分配5000流量 ， 對照組每天分配5000流量
實驗時長：當產生預期中的變化時 ， 至少需要2天的訪問量 ， 可以達到統計顯著性 。 同時考慮到用戶的使用頻率 ， 2天只包含了大部分的高頻用戶 ， 和很少的中頻及低頻用戶 ， 并不能代表全部的用戶 ， 所以需要將實驗時長設置為14天 ， 盡可能地包含所有類型的用戶 。
計算方法：通過網頁計算工具 ， 設置現有轉化率為5% ， 預期提高1% ， P值為0.05（95%的統計顯著性） ， 統計功效80% ， 可以得到 ， 每組最少需要的樣本量為7663 ， 所以需要的時間為（7663/5000）=1.53天 ， 所以當實驗時長不少于2天時 ， 就能保證監測到的預期大小的變化不是由隨機因素引起的 。
計算樣本量工具網址：https://www.evanmiller.org/ab-testing/sample-size.html
7. 實驗結果【以keep為例 如何設計實驗？】實驗時長=14天時 ， 數據如下：
對關注點擊率進行卡方檢驗 ， 得到如下結果：
（1）該數據可信 ， 因為觀察的時間足夠長 ， 避免了功能變化產生的新奇效應 ， 同時該keep是使用頻次較高的應用 ， 14天的時間已經能夠覆蓋到足夠廣泛的用戶了 。
（2）實驗成功

  1. 實驗組的帖子頁面“關注”點擊率顯著高于對照組 。 說明實驗組的設置 ， 在95%的可能下 ， 至少可以把帖子頁面“關注”點擊率提升0.7% 。
  2. 帖子頁面點贊率也有顯著提升 ， 至少上升了0.1% ， 說明確實幫用戶找到了更感興趣的帖子 ， 提高了內容體驗 。
  3. 反向指標取關率雖然也有顯著上升(p<0.05) ， 但僅上升了0.1% ， 在可以接受的范圍 。
8. 實驗洞察當用戶在帖子頁面某一內容停留時間超過5秒時 ， 放大關注按鈕提高了用戶的點擊率 ， 說明這樣的設置可以引起用戶注意并起到提醒用戶關注發帖用戶的作用 ， 還可以幫助用戶找到更感興趣的內容 。
9. 后續計劃
  1. 將該設置產品化 ， 全量上線；
  2. 清理該實驗代碼；
  3. 將該設置推廣至其他類似的頁面 ， 繼續進行測試 。 如添加好友的推薦頁面 ， 當用戶停留在某動態超過5秒 ， 放大關注按鈕 ， 并進行實驗驗證
    夜深 ， 人靜 ， 你我的增長 ， 才剛剛開始 。

推薦閱讀