集成测试Hive职位

作者: 春风助手
发布时间: 2024-12-13 01:02:04 (23天前)

2 条回复

1#
回复此人
只怕再见是故人 | 2020-08-13 11-55

理想情况下，一个人将能够测试配置单元查询，LocalJobRunner而不是借助小型集群测试。但是，由于HIVE-3816运行hive并mapred.job.tracker=local导致对系统上安装的hive CLI可执行文件的调用（如您的问题所述）。在解决HIVE-3816之前，迷你集群测试是唯一的选择。以下是针对CDH 4.4测试的配置单元测试的最小迷你集群设置。 ``` Configuration conf = new Configuration(); /* Build MiniDFSCluster */ MiniDFSCluster miniDFS = new MiniDFSCluster.Builder(conf).build(); /* Build MiniMR Cluster */ System.setProperty("hadoop.log.dir", "/path/to/hadoop/log/dir"); // MAPREDUCE-2785 int numTaskTrackers = 1; int numTaskTrackerDirectories = 1; String[] racks = null; String[] hosts = null; miniMR = new MiniMRCluster(numTaskTrackers, miniDFS.getFileSystem().getUri().toString(), numTaskTrackerDirectories, racks, hosts, new JobConf(conf)); /* Set JobTracker URI */ System.setProperty("mapred.job.tracker", miniMR.createJobConf(new JobConf(conf)).get("mapred.job.tracker")); ``` 无需运行单独的hiveserver或hiveserver2进程进行测试。您可以通过将jdbc连接URL设置为来对嵌入式hiveserver2进程进行测试jdbc:hive2:///

编辑

登录后才能参与评论