注册
登录
flume
如何使用spark将流数据从apache flume过滤并转换为rdd / data freame,将其写入表中
返回
如何使用spark将流数据从apache flume过滤并转换为rdd / data freame,将其写入表中
作者:
是吗@
发布时间:
2024-12-26 12:47:28 (11小时前)
转自:
嗨,我是flume / Spark / Spark流媒体的新手。我已经配置了flume和netcat,并成功将数据流式传输到Spark。 我的要求是检查流数据中的错误(水槽...
收藏
举报
2 条回复
0#
回复此人
无语
|
2019-08-31 10-32
我已经使用Foreach解决了它并将RDD转换为DF。 它工作,我已成功地将错误行插入DB。
编辑
登录
后才能参与评论