如何使用Sqoop将数据从关系数据库导入沙箱Hive？

作者: 春风助手
发布时间: 2024-06-28 05:17:25 (23天前)

2 条回复

1#
回复此人
只怕再见是故人 | 2020-08-05 09-58

1-您需要Microsoft SQL Server Connector for Apache Hadoop才能执行此操作，可以从此处下载。 2-您必须从Sqoop shell发出import命令。我建议您仔细阅读Sqoop文档，特别是第7.2.10节，它告诉我们有关将数据导入Hive的信息。 3-您可以：使用import-all-tables从数据库导入所有表使用sqoop-import导入一张表分别使用--where或--columns参数导入表的一部分（特定行或特定列）使用sqoop-export将数据从HDFS导出到关系数据库。 4-并且一旦将数据放入Hadoop群集中，就无法再使用SQL过程。存储过程语言通常会对结果集执行更多的逻辑。因为配置单元结果集通常很大，所以聚合和转换都是通过函数或流进行的。您需要考虑一些替代方法。但是您可以在Hive中拥有视图。要了解有关Hive的更多信息，请转到此处。高温超导

编辑

登录后才能参与评论