PROSAGA码农传奇-安全配置管理-AWS Data Pipeline EmrCluster的安全配置字段

AWS Data Pipeline EmrCluster的安全配置字段

作者: v-star*위위
发布时间: 2024-08-24 10:40:51 (10天前)
转自：

<div class =“post-text”itemprop =“text”>
  <P>
    遗憾的是，DataPipeline不支持安全配置功能（以及EMR 5.x版本中引入的其他功能，如使用自定义AMI）。
  </p>
  <P>
    一个解决方案是：
  </p>
  <OL>
    <LI>
      更换
       <code>
        EmrCluster
      </code>
       在您的管道中使用EC2资源
    </LI>
    <LI>
      用一个
       <code>
        ShellCommandActivity
      </code>
       在EC2资源上运行
       <code>
        aws emr create-cluster
      </code>
       CLI命令
    </LI>
    <LI>
      使用引导步骤
      <a href="https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-how-task-runner-user-managed.html" rel="nofollow noreferrer" title="cluster">
        安装
         <code>
          TaskRunner
        </code>
         在群集上
      </A>
    </LI>
    <LI>
      替换所有
       <code>
        runsOn
      </code>
       管道中的属性
       <code>
        workerGroup
      </code>
       所以任务在您在步骤2中创建的EMR集群上运行
    </LI>
    <LI>
      添加决赛
       <code>
        ShellCommandActivity
      </code>
       在管道的末尾，使用CLI终止集群
    </LI>
  </醇>
  <P>
    现在，由于您使用CLI启动集群，因此您可以访问各种功能，如安全配置，自定义AMI，实例车队等，您仍然可以使用DataPipeline协调任务。
  </p>
</DIV>