解释并说明为什么我们在sqoop中使用$ CONDITIONS


故人
2025-03-11 10:41:28 (5天前)


sqoop import –connect jdbc:mysql:// localhost / retail_db –username root –password cloudera –query’select * from table name where $ CONDITIONS’

2 条回复
  1. 0# 老夫的少女心 | 2019-08-31 10-32



    如果要并行导入查询结果,则每个映射任务都需要执行查询的副本,并通过Sqoop推断的边界条件对结果进行分区。您的查询必须包含令牌$ CONDITIONS,每个Sqoop进程将替换为唯一的条件表达式。您还必须使用—split-by选择拆分列。




    1. $ sqoop import \
      query SELECT a., b. FROM a JOIN b on (a.id == b.id) WHERE $CONDITIONS \
      split-by a.id
      target-dir /user/foo/joinresults

    2. </code>

登录 后才能参与评论