如何在Hive中的视图上运行查询？

作者: 诸葛神侯
发布时间: 2024-12-12 06:06:25 (1月前)
转自：

2 条回复

0#
回复此人
文艺青年 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 根据日志，例外是 <code> OutOfMemoryError: GC overhead limit exceeded </code> 在MapJoin HashTableLoader中。 </p> <P> 检查当前设置并相应增加： </p> <pre> <code> set hive.tez.container.size=4096MB; set hive.auto.convert.join.noconditionaltask.size=1370MB --recommended one third of container size </code> </pre> <P> 尝试使用内存优化的哈希表： </p> <pre> <code> set hive.mapjoin.optimized.hashtable=true; set hive.mapjoin.optimized.hashtable.wbsize=10485760; --Default Value (10 * 1024 * 1024) --Optimized hashtable uses a chain of buffers to store data. This is one buffer size. </code> </pre> <P> 最后，如果没有任何帮助，您可以关闭mapjoin： </p> <pre> <code> set hive.auto.convert.join=false; </code> </pre> </DIV>

编辑

登录后才能参与评论