我正在使用亚马逊上安装的HBase版本1.3.1,并尝试使用Sqoop ver将我的MSSQL RDBMS数据库“导入”到HDFS。 1.4.6。不幸的是,试验没有成功。是Sqoop 1.4.6版……
嗯.. HBase jar文件中存在冲突的主要问题和解决方案是添加一个指令来使用Sqoop bin目录,所以我在上面记录的命令结构中添加了以下内容:
--bindir / usr / lib / sqoop / --target-dir / usr / lib / sqoop / bin / tempd8 / media -verbose
请注意 1. 的 BINDIR 强> 是sqoop“bin”目录所在的目录 2。 的 目标目录 强> 是将要/将要存储源表数据的位置。 3。 的 -verbose 强> 只是为了提供更多调试信息。
此外,我遇到了内存管理问题,我可以使用以下链接帮助解决这些问题: https://community.cloudera.com/t5/Data-Ingestion-Integration/jpb-submitted-to-mapreduce-in-Yarn-is-stuck-while-ingesting-data/td-p/57410/page/2 https://community.cloudera.com/t5/Cloudera-Manager-Installation/Map-Reduce-Jobs-not-starting-on-local-CDH-5-7-0-installation/td-p/39563
============要验证sqoop导入,请运行以下命令 转到/ usr / lib / hadoop /目录 hadoop fs -cat / usr / lib / sqoop / bin / tempd8 / media / part-m- *其中'/ usr / lib / sqoop / bin / tempd8 / media'是sqoop import命令中的目标目录。
注意:专注于担心上述职位有用性的工程师