嵌入式 hadoop-pig：使用 UDF 自动 addContainingJar 的正确方法是什么？
当您使用pigServer.registerFunction时，您不应该显式调用pigServer.registerJar，而是让pig使用jarManager.findContainingJar自动检测jar。
然而，我们有一个复杂的 UDF，它的类依赖于多个 jar 中的其他类。因此，我们使用 Maven 程序集创建了一个带有依赖项的 jar。但这会导致整个jar进入pigContext.skipJars（因为它包含pig.jar本身）并且不会被发送到hadoop服务器:(
这里正确的方法是什么？我们必须为我们依赖的每个jar手动调用registerJar吗？
when you use pigServer.registerFunction, you're not supposed to explicitly call pigServer.registerJar, but rather have pig automatically detect the jar using jarManager.findContainingJar.
However, we have a complex UDF who's class is dependent on other classes from multiple jars. So we created a jar-with-dependencies with the maven-assembly. But this causes the entire jar to enter pigContext.skipJars (as it contains the pig.jar itself) and not being sent to the hadoop server :(
What's the correct approach here? Must we manually call registerJar for every jar we depend on?
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
不确定什么是认证方式，但这里有一些提示：
JarManager.createJar)，并从中提取仅以org/apache/pig开头的类，org/antlr/runtime等，并将它们发送到 jobTracker，因此PigMapReduce位于同一个 jar 中，那么您就完蛋了，因为它赢了没有得到HTH
not sure what's the certified way, but here's some pointers:
pigServer.registerFunctionpig automatically detects the jar that contain the udfs and sends it to the jobTrackerJarManager.createJar), and extracts from it only the classes that start withorg/apache/pig,org/antlr/runtime, etc. and sends them to the jobTracker as wellPigMapReduceyour'e screwed, because it won't get sentHTH