从HDFS到ES的数据加载需要很长时间

作者: 与之
发布时间: 2024-08-20 02:57:08 (2天前)
转自：

2 条回复

0#
回复此人
哇塞 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 您没有提到用于将数据提供给ES的方法，因此很难看出您是使用摄取管道还是使用什么技术来弥补差距。鉴于此，我会坚持下去 <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/tune-for-indexing-speed.html" rel="nofollow noreferrer"> 关于如何优化摄入Elasticsearch的通用建议 </A> 。 </p> <P> Elastic已经发布了一些优化摄取系统的指南，我们发现有三点可以产生真正的不同： </p> <OL> <LI> 的<strong> 关闭副本 </强> ：在复制数据的同时将副本数量设置为零，以消除复制数据的需要，同时还可以对其进行控制。这是索引级别设置（“number_of_replicas”） </LI> <LI> 的<strong> 不要指定ID </强> ：从数据库模式中可以看出，您是否在任何标识符之间进行映射，但是如果您可以避免将文档Id指定为Elastic并让它自己指定它可以显着提高性能。 </LI> <LI> 的<strong> 使用并行批量运算符 </强> ：使用BulkAPI将数据推送到ES并使用多个线程提供它，因此它始终有多个批量请求在服务器端工作。 </LI> </醇> <P> 最后，您是否安装了Kibana并监控您的节点以了解它们受限制的内容？特别是CPU还是内存？ </p> </DIV>

编辑

登录后才能参与评论