降本、提速、少干擾,火山引擎DataLeap重點升級CDC分庫分表能力
(原標題:降本、提速、少干擾,火山引擎DataLeap重點升級CDC分庫分表能力)
CDC(Change Data Capture)是一種數據捕獲技術,用於跟蹤數據庫中數據的變化。它的主要目的是捕獲數據庫中數據的增刪改操作,並將這些變化實時或定時地記錄下來,以便進行後續的處理和分析。
近日,在原有的整庫方案基礎上,大數據研發治理套件 DataLeap 重點升級了數據集成CDC分庫分表能力,可離線+實時將多個實例的多個數據庫多個分表同步到目標端中,更精準適配於業務中的實時分庫分表場景。
同時,DataLeap支持將 MySQL 同步到 EMR-Doris、EMR-Starrocks、LAS,助力將最新增量數據,以最快且最低的帶寬成本同步到目標庫,輔助業務數據分析更加準確、高效。
相比於批量抽取而言,CDC有着成本低、速度快、少干擾三大優勢。
通過僅發送增量變更,CDC能力可幫助用戶降低通過網絡傳輸數據的成本。同時,CDC可將事務直接傳輸到專供分析的應用上,幫助用戶根據最新的數據做出更快、更準確的決策;最後,CDC 可以通過監聽數據庫的日誌或 API 接口,捕獲數據變更事件,並將其發送到目標系統或存儲庫中,而無需在生產環境中大量傳輸數據,減少了網絡流量的佔用,降低了對生產環境的干擾。
火山引擎DataLeap——實時分庫分表同步能力界面
同時,火山引擎DataLeap CDC分庫分表能力目前支持“使用緩存”、“無需緩存,直接同步”兩種緩存配置方式,可做到直連同步,也可支持中間件緩存到後kafka後再同步,這樣更靈活的緩存同步模式、極大地幫助客戶提高了數據消費靈活性。
火山引擎DataLeap通過快速連接雲下自建/雲上數據源進行數據採集同步,可幫助客戶連接各類數據上雲,以及雲上數據流動,輕鬆完成數據入倉入湖,有效發揮數據的價值,同時藉助CDC分庫分表同步能力,支持數據端到端快速同步,數據實時性得到進一步增強,業務決策時效性提高且更準確。
除了上述集成能力,火山引擎DataLeap還可提供數據治理、數據開發、運維、資產等能力,幫助用戶提升數據研發效率、降低管理成本,加速推動企業的數據化轉型,目前已經應用於泛互聯網、製造、新零售、汽車等領域。