注册
登录
YARN
YARN上Spark中的日志在哪里？
返回
YARN上Spark中的日志在哪里？
作者:
狗头军师
发布时间:
2024-07-11 10:28:07 (25天前)
<p>我是新来的火花。现在我可以在纱线（2.0.0-cdh4.2.1）上运行火花0.9.1。但是执行后没有日志。</p><p>以下命令用于运行火花示例。但是，在历史记录服务器中找不到日志，就像在正常的MapReduce作业中一样。</p> <pre><code>SPARK_JAR=./assembly/target/scala-2.10/spark-assembly-0.9.1-hadoop2.0.0-cdh4.2.1.jar \ ./bin/spark-class org.apache.spark.deploy.yarn.Client --jar ./spark-example-1.0.0.jar \ --class SimpleApp --args yarn-standalone --num-workers 3 --master-memory 1g \ --worker-memory 1g --worker-cores 1 </code></pre><p>我在哪里可以找到日志/ stderr / stdout？</p><p>有可以设置配置的地方吗？我确实从控制台找到了一个输出，说：</p><p>14/04/14 18:51:52 INFO客户端：ApplicationMaster的命令：$ JAVA_HOME / bin / java -server -Xmx640m -Djava.io.tmpdir = $ PWD / tmp org.apache.spark.deploy.yarn.ApplicationMaster –class SimpleApp –jar ./spark-example-1.0.0.jar –args’yarn-standalone’–worker-memory 1024 –worker-cores 1 –num-workers 3 1> /标准输出2> / stderr</p><p>在这一行，注意 1> $LOG_DIR/stdout 2> $LOG_DIR/stderr</p><p>哪里可以设置LOG_DIR？</p>
收藏
举报
2 条回复
1#
回复此人
v-star*위위
|
2020-08-17 14-34
这个问题的漂亮文章： 在YARN上运行Spark-请参见“调试应用程序”部分。所有必要示例的合理解释。 要使Spark正确运行历史服务器，您需要遵循的唯一方法是在应用程序中关闭Spark上下文。否则，应用程序历史记录服务器不会将您视为COMPLETE，并且不会显示任何内容（尽管历史记录UI可以访问，但看不到）。
编辑
登录
后才能参与评论
