Kafka Connect：JDBC Source Connector：创建具有多个分区的主题

作者: 不想吃东西
发布时间: 2024-12-20 07:41:29 (3天前)
转自：

2 条回复

0#
回复此人
岁爵 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <BLOCKQUOTE> <P> 1）创建源连接器时是否有办法配置分区数和复制因子？ </p> </BLOCKQUOTE> <P> 不是来自Connect，没有。 </p> <P> 听起来你在代理上启用了自动主题创建，所以它使用的是默认值。理想情况下，这应该在生产环境中禁用，因此您必须提前创建主题。 </p> <BLOCKQUOTE> <P> Source Connector使用什么样的分区策略？ </p> </BLOCKQUOTE> <P> 取决于哪个连接器以及代码的编写方式（即它是否/如何生成Record的密钥）。例如，假设使用JDBC连接器，密钥可能是数据库表的主键。它将使用DefaultPartitioner进行哈希处理。我不相信Connect允许您在每个连接器级别指定自定义分区程序。如果键为null，则消息将分布在所有分区上。 </p> <BLOCKQUOTE> <P> 3）是否应为源和接收器连接器创建正确数量的工作器？ </p> </BLOCKQUOTE> <P> 再次，取决于来源。对于JDBC，每个表只有一个任务。 </p> <P> 但是，对于接收器，任务只能达到被接收主题的分区数（与所有使用者组一样）。 </p> <HR /> <P> 此外，您通常会分别从数据库（和Hadoop集群）运行Connect集群 </p> </DIV>

编辑

登录后才能参与评论