使用Luigi的循环机器学习ETL

作者: My☀
发布时间: 2025-02-06 08:54:51 (17天前)
转自：

2 条回复

0#
回复此人
無口君 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 你的模式看起来很正确。我将首先使用cron作业来调用触发该脚本的脚本 <code> Load </code> 任务管道。看起来像这样 <code> Load </code> 任务已经验证了S3存储桶中是否存在新文件，但您必须将输出更改为条件，如果没有任何操作，则可以是状态文件或其他内容。您也可以在更高级别执行此操作 <code> WrapperTask </code> （没有输出）只需要 <code> Load </code> 只有在有新文件时才会执行任务。然后你可以用它 <code> WrapperTask </code> 需要两个不同的Load任务，分别需要你的 <code> Transform1 </code> 和 <code> Transform2 </code> 。 </p> <P> 添加容器......我的cron真正调用的是一个脚本，它从git中提取我的最新代码，必要时构建一个新容器，然后调用docker run。我有另一个总是在运行的容器 <code> luigid </code> 。每日docker run使用在容器中执行shell脚本 <code> CMD </code> 用当天所需的参数调用luigi任务。 </p> </DIV>

编辑

登录后才能参与评论