- capturer 將資料庫異動 (insert & update) 以 gzip json lines 儲存在 S3
- Athena 讀取 gzip json lines 儲存到 iceberg table
sql/CREATE TABLE/products_cdc.sql
讀取資料庫異動的表格sql/CREATE TABLE/products_iceberg.sql
主要 data lake 的表格sql/VIEW/products.sql
近即時 view
gen-test-products-cdc.go
產生測試資料,模擬 capturersql/append_cdc_to_iceberg.sql
將資料從products_cdc
複製到products_iceberg
,loader 的核心邏輯sql/merge_products_iceberg.sql
合併資料列,compactor 的核心邏輯sql/delete_products_iceberg.sql
刪除已合併的資料列,compactor
name | 說明 |
---|---|
__dlcapturedat | 擷取時間 |
__dlloadedat | 載入到 data lake 的時間 |
__dlismerged | 是否為合併的資料列,一個 id 只會有一筆 __dlismerged 為 true,可能有多筆 __dlismerged 為 false |