移动大型并经常使用组合密钥更新MySQL表到HDFS


啦啦啦拉肚子
2025-03-14 09:18:03 (5天前)
  1. 我有MySQL库存表没有自动增量ID,但有复合键和最后修改日期(YYYY-mm-DD HHMMSS)并且会非常频繁地更新。它有近10年的数据大约10 ...

2 条回复
  1. 0# 红蜻蜓 | 2019-08-31 10-32



    基于以下内容检查下面的sqoop代码(我在类似的任务中使用)

    —lastmodified

    :我想在这里假设你可能有一个类似日期的列用于

    —check-column

    论点。




    1. sqoop import \
      connect jdbc:mysql://:3306/db \
      username=your_username \
      -P \
      table=your_table \
      append \
      incremental lastmodified \
      check-column creation_date \
      last-value YYYY-mm-DD HH:MM:SS.x \
      split-by some_numeric_id_column \
      target-dir /user/dir \
      num-mappers

    2. </code>

登录 后才能参与评论