本地模式下的Pig与Pig-withouthadoop.jar之间的差异

作者: 春风助手
发布时间: 2024-04-17 08:25:57 (1天前)

2 条回复

1#
回复此人
只怕再见是故人 | 2020-08-13 16-59

让我按顺序回答您的问题： 1）当我们谈论性能时，如果我们假设文件大小和Pig脚本在本地模式和Hadoop模式下运行时是不变的，那么。然后，肯定会在本地模式下处理更快，因为所有任务都在单个JVM中执行，但是在Hadoop模式下，输入文件将被携带到数据节点，然后Pig脚本或UDF也将获得携带到集群。这将需要更多时间，尽管在这两种情况下，pig脚本和UDF都将在内部转换为map和reduce任务，并且在这两种情况下构造的map和reduce类的数量始终相同。我们可以使用EXPLAIN命令进行检查。 2）不。Pig内部包含一捆Hadoop jar。因此，如果您尚未通过使用start-all.sh命令启动Hadoop，那么pig将使用内部Hadoop捆绑jar来工作。现在，有趣的部分是，如果您安装了hadoop，然后在不启动Hadoop的情况下使用pig，则有时它将无法工作，因为Hadoop版本不匹配。为了安全起见，请明确启动Hadoop。因此，Pig始终使用Hadoop。:) 3）如果文件较小，请始终使用Hadoop本地模式。如前所述，Pig默认带有Hadoop jar。 4）是，如果要显式使用Hadoop，则需要进行设置。

编辑

登录后才能参与评论