數據治理如何做？火山引擎DataLeap幫助這款產品3個月降低計算成本20% 最新

來源：中關村在線　2023-02-21 19:49:17

本文講述字節跳動一款 App產品的數據治理故事。該產品隨著用戶體量和數據體量不斷增長，數倉的任務量、數據量也不斷攀升，運維難、成本貴、穩定性等問題在不斷凸顯。通過使用火山引擎DataLeap的數據治理能力，3個月時間將計算成本大幅縮減20%。

該產品是一款近千萬級DAU的產品，疫情3年，催生了大量的線下需求轉型至線上，海量的數據雖然為產品創造了巨大的價值，但是也增高了計算成本和存儲成本。“成本治理專項”成為了這個產品的重要工作之一，為了解決數據治理的問題，產品接入了火山引擎自研的大數據開發套件——DataLeap，主要圍繞下述兩個場景進行成本治理：

1. 快速啟動并獲得收益

(相關資料圖)

大數據場景下計算資源的重要價值和昂貴成本，需要每個任務都按需使用。而在實際的業務開發過程中，存在大量的異常計算任務，浪費了大量的計算資源。計算場景也因此成為該產品數倉團隊成本治理的關鍵切入點。

通過DataLeap，數倉團隊可以設置明確治理目標，并配置治理域，通過選定各種規則的任務治理，比如關閉/下線無效任務、優化高耗時并且占用資源 TopN 任務、優化資源申請不合理 TopN 任務、優化表產出小文件 TopN 任務等，由此對隊列阻塞情況進行改善，完成階段性進行縮容。

DataLeap 還支持對任務執行進行全鏈路監控，自動發現這些異常的計算任務，并在工作臺進行展示，讓數據研發人員可以查看相應任務，并采取治理措施。

2. 按季度持續治理

數據治理是一項長期性、系統性的工作，通過DataLeap平臺，該產品優先實現了數據按季度持續治理。

DataLeap 平臺提供一系列任務圈選規則，可以圈選出無效、高耗時、資源申請不合理、小文件異常、近7天內無更新、寫入數據、近90天無訪問表等規則，進行定期掃描，由此實現周期性成本治理。除此之外，DataLeap還提供通知、一鍵拉群等治理運營操作，支持查看治理效果，沉淀治理經驗，有效推動數倉團隊成本推動進展。

其次，為了能更直觀監測到數倉健康度、量化治理效果，產品團隊還引入了DataLeap「健康分」體系。一旦出現健康分不達標情況，會及時限制產品使用資源比例、資源申請等。DataLeap還支持繁忙和閑置時段隊列資源利用率的監測，可以幫助飛書數倉團隊優化任務調度措施。

最終，該產品的數倉團隊主要從YARN和HDFS切入，在引入DataLeap的三個月內，快速落地成本治理項目。在計算治理場景，實現YARN 隊列成本降低 20%；在存儲治理場景，已釋放 7PB 存儲空間。

隨著數據的不斷累積和業務的不斷發展，大數據的體量將會變得越來越大，而隨之而來的龐大成本，也成為了大數據建設中越來越無法忽視的問題。火山引擎DataLeap基于字節跳動業務場景和實踐經驗，沉淀有一套完整的數據質量、SLA治理、資源優化、告警優化的能力，可以為業務提供流暢順滑的數據治理體驗；在流程上，覆蓋規劃式、響應式的用戶數據治理雙路，同時與各業務密切配合，落地和沉淀多項治理規則。(作者：邵苗）

推薦DIY文章