发送Spark流量指标以打开tsdb

作者: Minions
发布时间: 2024-10-11 08:55:09 (3月前)
转自：

2 条回复

0#
回复此人
老人与海 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 将度量标准发送到opentsdb的一种方法是使用它 <a href="http://opentsdb.net/docs/build/html/api_http/put.html" rel="noreferrer"> REST API </A> 。要使用它，只需将指标转换为JSON字符串，然后利用Apache Http客户端库发送数据（它在java中，因此可以在scala中使用）。示例代码可以在上找到 <a href="https://github.com/jshmain/log-analytics/blob/master/spark-solr-log-batch-processor/src/main/scala/OpenTsdbSupport.scala" rel="noreferrer"> github上 </A> 。 </p> <HR /> <P> 更优雅的解决方案是使用Spark指标库并向数据库添加接收器。有一个 <a href="https://issues.apache.org/jira/browse/SPARK-12194" rel="noreferrer"> 讨论 </A> 在为Spark度量库添加OpenTSDB接收器时，最终它没有被添加到Spark本身。代码是可用的 <a href="https://github.com/jetlore/spark-opentsdb-sink" rel="noreferrer"> github上 </A> 并且应该可以使用。不幸的是，代码与Spark 1.4.1兼容，但是，在最坏的情况下，仍然可以获得添加必要内容的一些指示。 </p> </DIV>

编辑

登录后才能参与评论