遗憾的是,DataPipeline不支持安全配置功能(以及EMR 5.x版本中引入的其他功能,如使用自定义AMI)。
一个解决方案是:
EmrCluster
ShellCommandActivity
aws emr create-cluster
TaskRunner
runsOn
workerGroup
现在,由于您使用CLI启动集群,因此您可以访问各种功能,如安全配置,自定义AMI,实例车队等,您仍然可以使用DataPipeline协调任务。