Spark3.3.1和hive3可以一起使用吗？
我是火花新手。现在我想使用spark读取一些数据并将其写入hive定义的表中。我正在使用spark3.3.1和hadoop 3.3.2，现在我可以下载hive3并配置spark3一起工作吗？因为我从互联网上找到的一些资料告诉我spark不能与所有版本的hive一起使用
谢谢
I'm new to spark. Now I want to use spark to read some data and write it to the tables defined by hive. I'm using spark3.3.1 and hadoop 3.3.2, and now, can I download hive3 and config spark3 work together? Because some materials I found from internet told me spark can't work with all versions of hive
thanks
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
从Spark 3.2.1文档来看，如果spark和hive的版本可以修改，它与Hive 3.1.0兼容，我建议您使用上面提到的组合来开始。
From Spark 3.2.1 documentation it is compatible with Hive 3.1.0 if the versions of spark and hive can be modified I would suggest you to use the above mentioned combination to start with.
我尝试将 hive 3.1.2 与 Spark 3.2.1 集成。 Spark 3 有一个 hive fork：
https://github.com/forsre/hive3.1.2
可以用它重新编译hive Spark 3 和 Spark 上的 Hive 可以工作。
但spark thrift server与hive 3不兼容。建议使用apache kyuubi替换spark thrift server和hiveserver2。
https://kyuubi.apache.org/
您可以只使用标准 hive 3.1.2 和 spart 3.2。 1 个包含 kyuubi 1.6.0 的软件包才能使其正常工作。
I try to integrate hive 3.1.2 with spark 3.2.1. There is a hive fork for spark 3:
https://github.com/forsre/hive3.1.2
You can use it to recompile hive with spark 3 and hive on spark can work.
But spark thrift server is incompatible with hive 3. Apache kyuubi is suggested to replace spark thrift server and hiveserver2.
https://kyuubi.apache.org/
You can just use standard hive 3.1.2 and spart 3.2.1 package with kyuubi 1.6.0 to make them work.