Spark写入Kafka压缩主题的代码

作者: 没身份别烦我
发布时间: 2025-01-14 11:13:29 (20天前)
转自：

3 条回复

0#
回复此人
滔滔江水 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> Spark结构流式传输，调用时 <code> writeStream </code> 引擎盖下的kafka格式使用KafkaProducer。 如果在经纪人方面 <code> auto.create.topics.enable </code> 具有 <code> true </code> 作为一个值（什么是默认值），当KafkaProducer获取元数据时，代理会创建新主题。 KafkaProducer没有通过任何 主题的属性 。经纪人使用默认一次（例如 <code> default.replication.factor </code> ， <code> num.partitions </code> ， <code> log.cleanup.policy </code> ）创建主题。 您无法通过KafkaProducer传递主题创建属性。 </DIV>

编辑
1#
回复此人
咿呀哟 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 如文档中所述，请使用 <code> kafka </code> 生产者或消费者属性的前缀。 <BLOCKQUOTE> 可以通过DataStreamReader.option设置Kafka自己的配置卡夫卡。字首。 </BLOCKQUOTE> 例： <pre> <code> stream.option("kafka.bootstrap.servers","host:port") </code> </pre> 此外，您只能传递生产者或消费者级别的属性 <code> .options </code> 。如果您需要设置任何主题级别配置，则需要使用代理配置，并且无法通过从默认配置获取的spark流代码进行设置。 <a href="https://spark.apache.org/docs/2.2.0/structured-streaming-kafka-integration.html#kafka-specific-configurations" rel="nofollow noreferrer"> https://spark.apache.org/docs/2.2.0/structured-streaming-kafka-integration.html#kafka-specific-configurations </A> </DIV>

编辑

登录后才能参与评论