flink更新hbase时的数据一致性问题

作者: 浮华丶
发布时间: 2025-01-05 05:11:56 (22天前)
转自：

2 条回复

0#
回复此人
一生流水 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 你需要的是 <code> keyBy </code> 来自DataStream API的函数，或者 <code> groupBy </code> 如果您使用DataSet API：请参阅 <a href="https://ci.apache.org/projects/flink/flink-docs-stable/dev/api_concepts.html#specifying-keys" rel="nofollow noreferrer"> Flink文档 </A> 。这些功能可确保始终由一个特定插槽处理一个特定密钥。一个插槽代表一个线程，这意味着即使并行度大于1，您的两个数字也会按顺序处理。 </p> <P> 当然你必须确保对HBase的put操作是阻塞的，所以你不能使用异步方式与HBase交互，就像 <a href="https://hbase.apache.org/apidocs/org/apache/hadoop/hbase/client/BufferedMutator.html" rel="nofollow noreferrer"> <code> BufferedMutator </code> </A> 要么 <a href="https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/stream/operators/asyncio.html" rel="nofollow noreferrer"> 异步I / O操作符 </A> 。 </p> </DIV>

编辑

登录后才能参与评论