Spark应用程序抛出此错误:
>无法创建目录> /home/user/hdp/.sparkStaging/application_00000000_000。名称节点在>安全模式。 NN的资源很少。请添加或…
你能检查一下吗? safemode 阈值 hdfs-default.xml
safemode
hdfs-default.xml
dfs.safemode.threshold.pct dfs.namenode.safemode.threshold-pct
尝试增加阈值,然后使用下面的安全模式。之后,一旦找到导致问题的黑羊文件,您就可以恢复更改
hdfs dfsadmin -safemode leave
您可以检查本地文件( /var/log/.. )因为hadoop在系统的磁盘空间之上工作。也检查中提到的目录 hadoop.tmp.dir 。使用 hadoop fs -rmr 在所有数据节点和名称节点上进行刷新
/var/log/..
hadoop.tmp.dir
hadoop fs -rmr