【CDC消费速率】flink 使用 mongo sql cdc-connector 如何提高 source 端消费速率？

[maben996]

UI上看到QPS在2万左右，并且source的并行度一直是1。请问如何提高source的并行度？以及并行度的提升是否有助于提升消费速率？

sql 的 source table 配置如下，这里在CDC文档中没有找到可以配置source并行度的地方。提高了拉数据的batch size。发现对source的QPS没有提升效果。

flink.conf文件中的默认并行度配置如下

业务背景：有一批百亿级别的数据需要同步从mongo同步到doris，存量+增量都要同步，所以想使用CDC同步，但是发现速率太慢，目前QPS 2w，预计300亿要同步20天左右才能跑完。

[gtk96]

@maben996 2.3.0 及以上全量阶段是可以多并行度同步的，SET 'parallelism.default' = 8; 增量阶段目前只能单并行度

[maben996]

@gtk96 全量阶段是指配置为 scan.startup.mode = 'initial' 吗？

[gtk96]

是的

[maben996]

@gtk96 实测了一下，只有当'scan.incremental.snapshot.enabled' = 'true' 和 'scan.startup.mode' = 'initial' 都配置的时候，source回使用默认并行度，只开'scan.startup.mode' = 'initial' source并行度还是1。

但是当并行度为4时，source单个并行度的吞吐量 5k~6k* 4 也是2w多的消费速率，和之前source并行为1的消费速度相比几乎没有提升。

这种情况合理吗？source并行度增加但是消费速率不变

[gtk96]

@gtk96 实测了一下，只有当'scan.incremental.snapshot.enabled' = 'true' 和 'scan.startup.mode' = 'initial' 都配置的时候，source回使用默认并行度，只开'scan.startup.mode' = 'initial' source并行度还是1。 但是当并行度为4时，source单个并行度的吞吐量 5k~6k* 4 也是2w多的消费速率，和之前source并行为1的消费速度相比几乎没有提升。 这种情况合理吗？source并行度增加但是消费速率不变

增加资源会不会快一点呢？

[maben996]

回答粘贴错了吧...哈哈

[gtk96]

回答粘贴错了吧...哈哈

理论上讲，source 端没有性能瓶颈的，瓶颈主要是 sink 端，所以你在 source 资源，包括拉取数据量都可以放大一些

[yangyuelong]

问题解决了么？
我也遇到了同样的问题，我设置了source并行度=10，web ui侧source端只有一个subtask接收到了数据。 这很诡异。

[night-create]

The default value for debezium.tasks.max is 1.The maximum number of tasks to create for this connector. Because the MySQL connector always uses a single task, changing the default value has no effect.