跟踪和记录/调试使用spark-submit从scala二进制文件启动的纱线应用程序

作者: Minions
发布时间: 2024-12-26 02:44:59 (1月前)
转自：

3 条回复

0#
回复此人
生如夏花 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 您可以使用应用程序名称检查Spark提交的纱线应用程序。 </p> <P> 一个。使用应用程序名称参数提交Spark应用 </p> <pre> <code> SparkSession.builder.appName("spark-app-name")...... </code> </pre> <P> 湾使用appname检查Yarn应用程序ID。 </p> <pre> <code> yarn application -list | awk '$2 == "spark-app-name" {print $1}' </code> </pre> <P> C。获得应用程序ID后，可以使用Yarn REST API检查Yarn应用程序的状态： </p> <pre> <code> http://<RM_HOST>:8088/ws/v1/cluster/apps/$job_id/state </code> </pre> </DIV>

编辑
1#
回复此人
部落用户 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 你可以使用 <code> spark-submit </code> 选项 <code> --name [spark_job_name] </code> 命名你的spark_job并在之后轻松识别他。 </p> </DIV>

编辑

登录后才能参与评论