Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李/松/胡争 23选择 Flink Ic+b+1g #2 常DCCDC 分析方案 #1 如3实时写 4F取 ## 未来规划 #4 #见的CDC分析方案 #1 离线 HBase 集u分析 CDC 数a 、CDC记录实时写入HBase。高吞P + 低延迟。 2、小vSg询延迟低。 3、集u可拓展 ci评C A3a/21 Kudu 维护 CDC 数据p 、支持L时更新数据，时效性佳。 2、CK加速，适合OLAP分析。 方案评估 优点 、cedKudup群，a较小众。维护 O本q。 2、H HDFS / S3 / OSS 等D裂。数据c e，且KAO本不如S3 / OSS。 3、Kudud批量P描不如3ar4u1t。 4、不支持增量SF。 h点 直接D入CDC到Hi2+分析 、流程能E作 Stream A C D E F G INSERT DELETE UPDATE INSERT DELETE UPDATE INSERT F3152 + Icebe7g CDC导入i案 D6w5st7e+4 c65su4e 15c7e4e5t+3 ch+5ges 、gc近实k导入和实k读取。 2、计算a擎原生gcCDCe入，不需要额外的业务 字r设计。 3、统一的h据t存储，多o化的计算模型。

数字化转型过程中的数据流转 GemFire® In-Memory Data Grid and Cache ETL/CDC AI/ML AS-IS TO-BE Labs Data Services ❖ ETL: Extract, Transforming, Loading ❖ CDC: Changed Data Capture © VMware 数据解决方案 产品组合 VMware SQL

Running in 9cdc27646c7b ---> 44aa4490ce2c Removing intermediate container 9cdc27646c7b Successfully built 44aa4490ce2c 从命令的输出结果中，我们可以清晰的看到镜像的构建过程。在 Step 2 中，如同我们之前 所说的那样， RUN 指令启动了一个容器 9cdc27646c7b 9cdc27646c7b ，执行了所要求的命令，并最后提交 了这一层 44aa4490ce2c ，随后删除了所用到的这个容器 9cdc27646c7b 。 这里我们使用了 docker build 命令进行镜像构建。其格式为： docker build [选项] <上下文路径/URL/-> 在这里我们指定了最终镜像的名称 -t nginx:v3 ，构建成功后，我们可以像之前运行 nginx:v2

2s7gtb-f76d1-v8jxv-master-0 machineconfiguration.openshift.io/currentConfig: rendered-master- cdc1ab7da414629332cc4c3926e6e59c ... spec: taints: - effect: NoSchedule key: node-role.kubernetes s7gtb-f76d1- v8jxv-master-0 machineconfiguration.openshift.io/currentConfig: rendered-master- cdc1ab7da414629332cc4c3926e6e59c ... spec: taints: - effect: NoSchedule key: node-role.kubernetes

s7gtb-f76d1-v8jxv- master-0 machineconfiguration.openshift.io/currentConfig: rendered-master- cdc1ab7da414629332cc4c3926e6e59c ... spec: taints: - effect: NoSchedule key: node-role.kubernetes s7gtb- f76d1-v8jxv-master-0 machineconfiguration.openshift.io/currentConfig: rendered-master- cdc1ab7da414629332cc4c3926e6e59c ... spec: taints: - effect: NoSchedule key: node-role.kubernetes

------------------------------------------ ------------------------------------ Proxy 0833f5bc-6304-42e1-b799-cdc81c576c60 | +- Proxy.vdi 4.8G VDI rlock d5f84afb-0794-4952-ab71-6bbcbee07737 | +- 12.3G VDI

------------------------------------------ ------------------------------------ Proxy 0833f5bc-6304-42e1-b799-cdc81c576c60 | +- Proxy.vdi 4.8G VDI rlock d5f84afb-0794-4952-ab71-6bbcbee07737 | +- 12.3G VDI

------------------------------------------ ------------------------------------ Proxy 0833f5bc-6304-42e1-b799-cdc81c576c60 | +- Proxy.vdi 4.8G VDI rlock d5f84afb-0794-4952-ab71-6bbcbee07737 | +- 12.3G VDI

------------------------------------------ ------------------------------------ Proxy 0833f5bc-6304-42e1-b799-cdc81c576c60 | +- Proxy.vdi 4.8G VDI rlock d5f84afb-0794-4952-ab71-6bbcbee07737 | +- 12.3G VDI

------------------------------------------ ------------------------------------ Proxy 0833f5bc-6304-42e1-b799-cdc81c576c60 | +- Proxy.vdi 4.8G VDI rlock d5f84afb-0794-4952-ab71-6bbcbee07737 | +- 12.3G VDI