ETL>> luigi-etl>> 返回
项目作者： miseyu

项目描述 ：
luigi app for own
高级语言： Python
项目地址: git://github.com/miseyu/luigi-etl.git
创建时间： 2017-01-12T06:28:37Z
项目社区：https://github.com/miseyu/luigi-etl
开源协议：
下载


luigi-etl

  • luigiで作ったETL用ツール

使用言語

主要ライブラリ

使用ツール

  • pip

起動方法

ローカル起動

  1. $ python tasks.py MyQuery --local-scheduler

環境変数

  • GCS_TOUCH_VERSION: TOUCHのバージョン
  • STREAM_ID: ストリームモードの場合のID
  • BEAM_WORKER_COUNT: Dataflowのワーカ数

central起動

  1. $ luigid --port 8082

centralに投げる

  1. $ python tasks.py MyQuery