火山引擎DataTester：如何用A/B測試做產品增長？

來源：中關村在線　2022-12-06 16:56:12

隨著如今越來越高的獲客成本，用戶拉新變得不再容易；而且由于獲客成本的增高，讓用戶留存也變得更加重要。同時，一個產品的使用體驗好壞、是否給予對應的用戶價值，通常“用戶留存”就被作為重要的衡量指標之一。

那么，如何將有限的流量發揮出最大的價值，盡可能的提升用戶留存呢？本文將跟隨字節的一款內容App的增長實踐來一探究竟。

(資料圖片僅供參考)

該款App為用戶提供短篇、中篇、長篇內容閱讀服務，但在App推出一段時間后，該產品團隊通過核心指標分析，發現App新用戶流失率非常高。其中新用戶LT（Life Time / 用戶生命周期）、LTV（Life Time Value/用戶生命周期價值）等指標均大幅低于預期，有較大的提升空間。

如何降低新用戶的流失率、提高用戶留存，成為了這款產品亟待解決的問題。

由于字節的產品在迭代、推廣過程中都會不斷經歷A/B測試的打磨，因此該產品團隊首先查看了歷史策略，希望汲取一些經驗。他們在字節跳動自研的A/B測試產品——DataTester 中，查看了該App以往的A/B實驗歷史，并通過 DataTester 特設的「經驗庫」能力，找到了往期能夠提升用戶留存的產品策略。

他們從「經驗庫」往期A/B測試的歷史中看到：

· 往期“7天簽到禮包”玩法中，新用戶LT顯著上升，用戶留存率顯著上升；

· 往年春節期間曾發起過眾多活動，“簽到日歷”的玩法對比其他活動，留存最佳；

.....

總結發現，往期的“簽到玩法”對比其他策略，對于這款App的用戶留存提升通常更為顯著。下圖可看到“簽到玩法”帶來的拉新占比，及用戶留存趨勢。

因此該團隊判斷，此次產品策略優化，通過優化“簽到玩法”獲取提升該App新用戶留存指標收益的可能性較高。那么在優化方向上具體策略如何制定呢？該團隊通過數據分析后決定從用戶體驗痛點入手。

原產品“簽到玩法”如下：

· 玩法設置在產品二級頁面“福利頁”，用戶必須打開App后再進入“福利頁”，才可以完成玩法任務

· 產品同時設置有兩種“簽到玩法”——「7天見面禮」與「日常簽到」，兩種玩法會同時彈出，用戶打開產品后會遇到多重彈窗的情況

這樣的產品策略會帶來“用戶操作路徑過長，領取獎勵難度相對較大”以及“多重彈窗對用戶造成操作打擾”的痛點。產品團隊因此確定了簽到策略的優化思路：降低獎勵領取難度，去除多重彈窗對用戶的打擾。

當優化方向確定后，接下來就需要設計完整的A/B實驗方案了；在A/B實驗方案設計的過程中，最重要的一點是要計算出取得顯著性結論所需要的流量是多少。此時，字節的A/B測試產品 DataTester 的優勢就體現出來了。當業務把想提升的指標、數值、提升方向輸入進來后，DataTester 可以直接自動計算所需要的樣本數量，然后經過A/B測試的實驗數據來進行效果驗證，幫助業務確認最優解的策略。

最后通過優化新用戶的「7天見面禮」簽到活動，從 DataTester 的實驗結果上來看，優化后的實驗組的大盤新用戶LT（用戶生命周期）、留存率等均有明顯的正向提升；不僅如此，在App活躍時長、ARPU（平均每用戶收入）等核心指標的數據也均有不同幅度的正向提升；同時新用戶的簽到問題反饋也有所下降。

因此，該App將新的策略全量上線，從線上數據表現來看，該App的「7日簽到」策略次日領取率提升了近20%，用戶多日留存穩定提升了3%~5%，獲取了超預期的收益。

對于企業而言，更明智、更長期的戰略意味著需要同時專注于自身產品的健康發展以及增長，而這其中最重要的驅動因素是用戶滿意度和用戶留存。注重用戶留存就可以推進增加營收及提高盈利能力，也節省了獲客成本，達到了降本增效的目的。

那么如何提升核心指標？如何選擇最優的產品策略？如何科學的評估指標提升與策略的關系？如何選準正確的迭代方向并繼續向下探索收益？這些都需要A/B測試來進行評估并得到“理性且科學”的數據結果，幫助業務在每一個決策的岔路口上，都做出了更正確的選擇。

DataTester 依靠其先進的底層算法，提供科學的分流能力和智能的統計引擎，支持多種復雜的A/B實驗類型。在字節內部幫助今日頭條、抖音等多個產品“擺脫猜測，用科學的實驗衡量決策收益”。不僅如此，DataTester 也已經由火山引擎對外開放服務，目前已服務了美的、得到、凱叔講故事等在內的上百家外部企業，支持了多種業務場景需求，為業務的用戶增長、轉化、產品迭代、運營活動等各個環節提供了科學的決策依據，將成熟的“數據驅動增長”經驗賦能給各行業。（作者：宋楠）

推薦DIY文章