火山引擎ByteHouse助力大地量子精準、高效預測天氣

2023-08-10 17:03:05來源：中關村在線

伴隨著氣象技術的發展以及城市氣象設施的完善，氣象監測服務能力在不斷提高，實現短期甚至中長期的氣象預測成為可能。

短期、長期的天氣形勢預測，不僅能幫助相關行業、有關部門針對性地進行極端天氣防范準備，降低氣象災害帶來的影響；還可以提升對風力、水力等可再生能源的利用效率，實現可持續發展，推動環境保護。

而大地量子正是這樣一家深耕氣象領域的公司。作為定位為AI大模型與數字孿生的公司，大地量子通過對PB級衛星遙感數據、氣象數據的AI開發，打造業界領先的天氣預測、清潔能源功率預測、綠電交易預測、碳匯碳排等技術產品，并利用自有的AI與超算優勢，完成下一代氣象預報系統。

(資料圖)

預測一個地理位置的氣象情況，實際是根據周圍的觀測站點的大量信息，做重合面積的地理信息查詢，包括經緯度、溫度、濕度等具體數值。除此之外，大自然中變幻莫測的風、雨、云、電，也會為數據的計算能力和實時查詢也帶來了巨大的難點。具體可以包括以下三點：

第一，地理信息數據處理能力，業務需要豐富的geo函數，用于整合海量的歷史氣象數據，對目標點位/區域實現天氣預測；第二，高時效性查詢需求，風場、云層預測等模型需要實時查詢能力，快速做到結果反饋；第三，由于查詢的接口眾多，高并發擴展也是交互式業務不可或缺的能力之一。

如何解決這些痛點？大地量子選擇了與火山引擎云原生數據倉庫ByteHouse進行合作。

隨著字節跳動業務的快速發展，產生了海量的產品使用數據分析需求。這類場景數據指標計算相對復雜、數據總量大且查詢模式多變，要求底層數據計算引擎具備高可用性，以及具備應對超大數據規模下交互式實時響應的能力。ByteHouse的極致性能和強大計算能力，正是源于內部場景的多年積累和檢驗。

在字節跳動內部實踐場景和海量數據打磨下的技術能力也復制在大地量子上，并進行了進一步升級。

據介紹，ByteHouse起初是基于開源ClickHouse引擎進行技術架構重構和優化。但相比起原生的ClickHouse，火山引擎ByteHouse基于獨家自研的高可用引擎及查詢優化器，可以為企業提供快速、穩定、安全的查詢服務和數據寫入性能。

從技術層面看，ByteHouse 提供了 PB 級數據秒級響應，通過增強的自研引擎，確保95%以上的查詢均可在秒級返回，同時通過自研的HAEngine和元數據持久化等優化，ByteHouse提供了新的生產級高可用方案，能夠保障其在大數據量場景下依然不會影響到查詢分析體驗。

大地量子通過將現場采集及大模型生成的氣象數據導入到ByteHouse中，通過ByteHouse的多邊形計算、方差、平均值等計算函數能力，支撐GEO查詢和空間計算，滿足其對預測系統以及交互式查詢需求。另外，針對大地量子不同階段數據波動情況，ByteHouse也提出了定制化解決方案。例如，在業務數據低谷期，ByteHouse提供集群節點進行自助升級能力，在保持產品功能更新的同時，能更靈活幫助大地量子控制產品版本，降低運維負擔。

在降本增效層面，大地量子也利用ByteHouse進行了極致優化。ByteHouse 能支持用戶自定義冷存儲的比例，該能力幫助大地量子將查詢頻次較少的歷史數據進行冷存，起到降低存儲成本的作用，最終實現查詢效率和成本之間的平衡。

目前，在業務實踐中，平均查詢任務時長始終保持在50毫秒以內，同時可以做到400QPS的峰值并發，火山引擎ByteHouse的高效率表現為大地量子提供了最有力的用數支持。

未來，大地量子將把部分功能作為API接口對外開放，ByteHouse的高查詢性能足以滿足預測系統及后續交互式查詢需求，進一步為大地量子提供了查詢并發的保障，為業務擴展提供基礎。除此之外，由于ByteHouse 支持無損和自助水平擴容，隨著數據量持續增加，大地量子也計劃通過 ByteHouse 集群的水平擴容來動態調整和支持計算、存儲能力，為高性能查詢提供更強保障。

除了在氣象領域落地，火山引擎ByteHouse還與中國地震臺網中心、海王集團、莉莉絲游戲、極客邦科技等諸多行業企業達成了深度合作，憑借新一代的云原生架構，高效方便的運維模式，以及高性能更靈活的實時查詢能力，為企業抓穩數字化機遇建立了夯實的地基，推動企業的數智化轉型升級。（作者：李維）

標簽：