移动大型并经常使用组合密钥更新MySQL表到HDFS

作者: 啦啦啦拉肚子
发布时间: 2025-03-19 11:22:12 (2天前)
转自：

        我有MySQL库存表没有自动增量ID，但有复合键和最后修改日期（YYYY-mm-DD HH：MM：SS）并且会非常频繁地更新。它有近10年的数据大约10 ...

2 条回复

0# 红蜻蜓 | 2019-08-31 10-32

基于以下内容检查下面的sqoop代码（我在类似的任务中使用）
—lastmodified
：我想在这里假设你可能有一个类似日期的列用于
—check-column
论点。


    
      sqoop import \
—connect jdbc//:3306/db \
—username=your_username \
-P \
—table=your_table \
—append \
—incremental lastmodified \
—check-column creation_date \
—last-value “YYYY-mm-DD HHSS.x” \
—split-by some_numeric_id_column \
—target-dir /user/dir \
—num-mappers 
</code>

登录后才能参与评论