PROSAGA码农传奇-调度引擎-及时安排火花工作

<div class =“post-text”itemprop =“text”>
  
    从这里更新我以前的答案：
    <a href="https://stackoverflow.com/questions/35733441/suggestion-for-scheduling-tools-for-building-hadoop-based-data-pipelines/35758046#35758046">
      建议用于构建基于hadoop的数据管道的调度工具
    </A>
  
  <UL>
    <LI>
      空气流动：
      的
        先试试这个。
      </强>
       体面的UI，Python-ish作业定义，非程序员半可访问，依赖声明语法很奇怪。

<UL>
        <LI>
          Airflow已经内置支持
          的
            事实
          </强>
           工作预定工作通常需要重新运行和/或回填。确保构建管道以支持此功能。
        </LI>
      </UL>
    </LI>
    <LI>
      Azkaban：非常好的UI，相对简单，非程序员可以访问。 LinkedIn上有悠久的历史。

<UL>
        <LI>
          Azkaban强制简单（不能使用不存在的功能），其他巧妙地鼓励复杂性。
        </LI>
        <LI>
          查看Azkaban CLI项目以创建程序化作业。
          <a href="https://github.com/mtth/azkaban" rel="nofollow noreferrer">
            https://github.com/mtth/azkaban
          </A>
           （例子
          <a href="https://github.com/joeharris76/azkaban_examples" rel="nofollow noreferrer">
            https://github.com/joeharris76/azkaban_examples
          </A>
          ）
        </LI>
      </UL>
    </LI>
    <LI>
      Luigi：OK UI，工作流程是纯Python，需要扎实掌握Python编码和面向对象的概念，因此不适合非程序员。
    </LI>
    <LI>
      Oozie：疯狂的基于XML的作业定义。这里是龙。 ;-)
    </LI>
    <LI>
      Chronos：？\ _ _（？）？
    </LI>
  </UL>
  
    哲学：
  
  
    更简单的流水线比复杂的流水线更好：更易于创建，更易于理解（特别是当您没有创建时）并且更容易调试/修复。
  
  
    当需要复杂操作时，您希望以完全成功或完全失败的方式封装它们。
  
  
    如果你能使它成为幂等的（再次运行它会产生相同的结果），那就更好了。
  
</DIV>