我们有一个在HDFS 2.7.3上运行的火花串流应用程序 纱 </跨度> 作为资源管理器….在运行应用程序时..这两个文件夹
的/ tmp / hadoop的/数据/纳米本地-DIR / filecache
/ tmp … / hadoop / data / nm-local-dir / filecache
正在填满因此盘…..
所以从我的研究中发现,配置这两个属性 纱 </跨度> -site.xml会有所帮助
&LT;性&gt; &lt; name …
你说文件夹“/ tmp / hadoop / data / nm-local-dir / filecache”正在填满,所以应该定期清理。
但是您为清理指定的参数,特别是“yarn.nodemanager.localizer.cache.cleanup.interval-ms”和“yarn.nodemanager.localizer.cache.target-size-mb”适用于“/ tmp / hadoop /” data / nm-local-dir / filecache“但”file:/// tmp / hadoop / data / nm-local-dir“的”yarn.nodemanager.local-dirs“值不包括”filecache“路径。将值“file:/// tmp / hadoop / data / nm-local-dir”修复为“file:/// tmp / hadoop / data / nm-local-dir / filecache”。