在Alluxio上跑Impala

发布于 2022-09-07 23:19:06 字数 1708 浏览 23 评论 0

因为是新手,无法新建标签,所以使用了Alluxio的旧称tachyon作为标签。


尝试配置Impala使用Alluxio进行文件操作,失败了。
下面是Impala的配置:

/etc/impala/conf/core-site.xml(http://www.alluxio.org/docs/1...

<configuration>
    <property>
      <name>fs.alluxio.impl</name>
      <value>alluxio.hadoop.FileSystem</value>
      <description>The Alluxio FileSystem (Hadoop 1.x and 2.x)</description>
    </property>
    <property>
      <name>fs.AbstractFileSystem.alluxio.impl</name>
      <value>alluxio.hadoop.AlluxioFileSystem</value>
      <description>The Alluxio AbstractFileSystem (Hadoop 2.x)</description>
    </property>
</configuration>

/etc/impala/conf/hive-site.xml(http://www.alluxio.org/docs/1...

<property>
   <name>fs.defaultFS</name>
   <value>alluxio://192.168.1.10:19998/</value>
</property>

然后启动impala(impala-server, impala-catalogd, impala-state-store), 在impala日志中出现下面的内容,impalad启动失败:

...impala-server.cc:282] Currently configured default file system: FileSystem. fs.defaultFS (alluxio://192.168.1.10:19998/) is not supported.
...impala-server.cc:285] Aborting Impala Server startup due to improper configuration. Impalad exiting.

测试环境中的impala版本: 2.10.0-cdh5.13.0 RELEASE, Alluxio版本: alluxio-1.8.0-hadoop-2.7

在网上搜索了很久,有用的信息很少。有谁尝试过在alluxio上跑Impala吗?谢谢帮助!

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

请止步禁区 2022-09-14 23:19:06

我也遇到类似的问题,请问你的问题解决了没有

悲凉≈ 2022-09-14 23:19:06

CDH 中
Impala Service Environment Advanced Configuration Snippet (Safety Valve)
添加
AUX_CLASSPATH=/path/to/alluxio-2.0.0-client.jar:${AUX_CLASSPATH}

however
只能读和建表,无法插入数据
数据只能从hive插入

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文