解释并说明为什么我们在sqoop中使用$ CONDITIONS

作者: 故人
发布时间: 2024-12-19 12:32:51 (17天前)
转自：

2 条回复

0#
回复此人
老夫的少女心 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 如果要并行导入查询结果，则每个映射任务都需要执行查询的副本，并通过Sqoop推断的边界条件对结果进行分区。您的查询必须包含令牌$ CONDITIONS，每个Sqoop进程将替换为唯一的条件表达式。您还必须使用--split-by选择拆分列。 </p> <pre> <code> $ sqoop import \ --query 'SELECT a.*, b.* FROM a JOIN b on (a.id == b.id) WHERE $CONDITIONS' \ --split-by a.id --target-dir /user/foo/joinresults </code> </pre> </DIV>

编辑

登录后才能参与评论