猪UDF或猪拉丁或两者兼而有之？

作者: 只怕再见是故人
发布时间: 2024-12-20 02:27:52 (15天前)

2 条回复

1#
回复此人
春风助手 | 2020-08-13 16-43

如果可以在Pig（或Hive）中进行操作，请在Pig（或Hive）中进行操作。否则，请在Java MapReduce中执行。猪的好处：像CSV这样的结构化数据非常易于加载和使用，没有Java慢很多，不容易出现Java级别的错误易于阅读和编写，无需编译：易于维护，易于部署您可能会想到几件事刚开始不能在Pig中使用Java，但想在Java中使用它，但是一旦对它有了更多的了解，就可以在Pig中使用它：您可以使用Java编写用户定义的加载程序。您将要编写一些Java来解析这种复杂的数据格式，那么为什么不使用Pig Loader呢？嵌套map和bag数据类型可以很好地为分层数据结构建模，但是您可能必须编写大量的UDF。您可以在Pig中使用Java MapReduce。这使您可以在Pig中进行艰难的操作，而在其他地方则更轻松。这里有一些，但是您明白了。Pig是非常可定制的，并且您最终将减少编写Java的时间。基本的东西很容易。我们可以做一些事情，例如分层数据结构和自定义加载。好了，还剩下什么？分区程序的异乎寻常的用途来完成MapReduce不适合的用途。真正令人讨厌的数据格式或完全非结构化的数据（视频，音频，原始的人类可读文本）在DistributedCache中执行复杂的操作（基本操作可以通过JOIN和USING'replicated'完成）希望其他人可以添加他们无法在其中进行的操作猪在评论。

编辑

登录后才能参与评论