如何在运行scala spark app后运行python脚本

作者: 明天会更好
发布时间: 2024-08-28 03:30:31 (5天前)
转自：

3 条回复

0#
回复此人
十二* | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 无论您的spark-submit是否成功运行，您都无法使用“$？”获得答案。在shell中作为状态。要获得您需要运行的火花作业的状态 </p> <pre> <code> yarn application -status <application id of the spark job> </code> </pre> <P> 根据结果运行if [$ condition] 希望有所帮助 </p> </DIV>

编辑
1#
回复此人
Little it | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 首先你的cron行有错误。你需要3 <code> * </code> ，而不是4 </p> <pre> <code> 30 0 * * * ... </code> </pre> <P> 接下来的良好做法 <code> cron </code> 是创建将运行命令的shell脚本。并在此脚本中添加您的采购 <code> .bashrc </code> 和/或 <code> .bash_profile </code> 将环境变量设置为与登录操作系统时相同。一个示例脚本将如下所示： </p> <pre> <code> #!/bin/bash . /path/to/your/home/directory/.bashrc # also you can try # . /path/to/your/home/directory/.bash_profile spark scala job command >/tmp/logfile retcode=$? if [ "$errcode -eq 0 ] then python script2.py fi </code> </pre> <P> 关于最后一行，如果第一个命令成功完成执行，拆分它并进行深度检查是明智的。 </p> </DIV>

编辑

登录后才能参与评论