Kafka制作人使用HiveStorageHandler

作者: 求赞有赞必回
发布时间: 2024-12-28 10:37:13 (4天前)
转自：

2 条回复

0#
回复此人
岁爵 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 如果我理解正确，你想要从Hive读取事件，然后推送到Kafka。我没有使用存储处理程序的经验，但我宁愿建议编写适当的代码来生成Kafka，然后将这些事件提供给Hadoop / Hive。 </p> <P> 在Kafka中有一个名为Kafka Connect的框架，它写入外部系统.Confluent编写了这样一个HDFS连接器，通过在文件写入HDFS时更新Hive Metastore来提供Hive支持。 </p> <P> 在不编写存储处理程序的情况下，您可以尝试使用JDBC Source连接器，或者使用Spark / Flink从Hive读取数据并推送到Kafka。 </p> <P> 但一般来说，Hadoop是CDC事件的目的地，而不是它的生成源。主要是因为查询速度很慢...如果你想在插入上创建事件，它通常需要一些表扫描，所以从Cassandra / Hbase生成事件可能是更好的选择 </p> </DIV>

编辑

登录后才能参与评论