在java中运行pig而不嵌入pig脚本

作者: 浮华丶
发布时间: 2024-04-19 10:54:15 (3月前)
转自：

5 条回复

0#
回复此人
梦中会飞的鱼 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 您可以使用org.apache.pig.PigServer从Java程序运行pig脚本。 </p> <pre> <code> PigServer pigServer = new PigServer(ExecType.MAPREDUCE); pigServer.registerScript("scripts/test.pig"); </code> </pre> <P> 在类路径上需要'pig.properties'。 </p> <pre> <code> fs.default.name=hdfs://<namenode-hostname>:<port> mapred.job.tracker=<jobtracker-hostname>:<port> </code> </pre> <P> 或者将java.util.Properties的实例传递给PigServer构造函数。 </p> <pre> <code> Properties props = new Properties(); props.setProperty("fs.default.name", "hdfs://<namenode-hostname>:<port>"); props.setProperty("mapred.job.tracker", "<jobtracker-hostname>:<port>"); PigServer pigServer = new PigServer(ExecType.MAPREDUCE, props); </code> </pre> </DIV>

编辑
1#
回复此人
LOGO | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 我不确定我明白你在问什么。您想知道如何从Java程序运行Pig脚本吗？ </p> <P> 如果是这样，我们使用该类 <code> org.apache.pig.PigRunner </code> 为了这。 </p> <pre> <code> PigStats pigStats = PigRunner.run(args, null); </code> </pre> <P> 它的Javadoc声明： </p> <BLOCKQUOTE> <P> 帮助在Java程序中运行PIG脚本的实用程序。 </p> </BLOCKQUOTE> <P> 但是根据我的经验，Pig并不是真正意图以这种方式使用（至少在0.8版本中）。我们遇到了问题，例如保持打开的FileStream和未删除的临时文件。 </p> </DIV>

编辑
2#
回复此人
Gassyc加西可 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 由于其他人已经通过在java中嵌入相同的内容来很好地解释了猪的执行，所以我只想补充一下如何在没有java的情况下运行参数化猪。 </p> <P> 在这个场景中，你需要的只是你的猪行代码保存为猪文件，比方说 <code> myFirstPigScript.pig </code> 。 </p> <P> 接下来你需要的是参数。那么这是运行你的方式 <code> myFirstPigScript.pig </code> 有三个输入参数。 </p> <pre> <code> pig -p in1=file1.txt -p in2=file2.txt -p outdirectory=outdirectory myFirstPigScript.pig </code> </pre> <P> 你的猪脚本看起来像 </p> <pre> <code> A = load '$in1' USING PigStorage(',') AS (id_one:chararray,file1field1:chararray); B = load '$in2' USING PigStorage(',') AS (id_two:chararray,file2field1:chararray); C = join A by id_one, B by id_two; store D into '$outdirectory' USING PigStorage(',') ; </code> </pre> <P> 示例输入文件将是两列csv文件 </p> <P> 输出'part'文件将出现在outdirectory中 </p> </DIV>

编辑
3#
回复此人
关于贤的记忆 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 你可以尝试这个链接，它给出了在java中嵌入pig脚本的一个很好的例子。 </p> <P> <a href="http://wiki.apache.org/pig/EmbeddedPig" rel="nofollow"> http://wiki.apache.org/pig/EmbeddedPig </A> </p> </DIV>

编辑

登录后才能参与评论