如果作业时间超过预期，则终止Spark作业或终止EMR集群

作者: Fire ming
发布时间: 2025-02-06 05:01:31 (8天前)
转自：

2 条回复

0#
回复此人
没身份别烦我 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> EMR有一个 <a href="https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-bootstrap.html" rel="nofollow noreferrer"> 引导操作 </A> 功能，您可以在其中运行初始化群集时启动的脚本。我已经使用了这个功能以及一个启动脚本来监视群集在线的时间并在一段时间后自行终止。 </p> <P> 我使用基于此脚本的脚本进行引导操作。 <a href="https://github.com/thomhopmans/themarketingtechnologist/blob/master/6_deploy_spark_cluster_on_aws/files/terminate_idle_cluster.sh" rel="nofollow noreferrer"> https://github.com/thomhopmans/themarketingtechnologist/blob/master/6_deploy_spark_cluster_on_aws/files/terminate_idle_cluster.sh </A> </p> <P> 基本上创建一个检查/ proc / uptime的脚本以查看EC2机器已经联机多长时间，并且在正常运行时间超过您的时间限制之后，您可以向群集发送关闭命令。 </p> </DIV>

编辑

登录后才能参与评论