spark工程里面有关配置文件的使用情况

发布于 2022-09-07 23:38:22 字数 387 浏览 29 评论 0

问题描述

sparksql项目,sql脚本是放在resource/sql/文件在下面(业务不同,脚本有点多);本地编写代码加载sql脚本使用this.getClass.getResource().getPath方式,获取路径进行文件内容读取组装成sql字符串进行执行。
现在需要将打好的jar进行spark-submit提交,运行结果始终就出现文件路径无法找见(打印日志也看得出来路径根本不存在;可问题是解压了打包的jar包,配置文件就在里面)

问题出现的环境背景及自己尝试过哪些方法

自己尝试过的方式是将打包和配置文件近分散处理,指定配置文件在linux中的位置进行读取加载。但是始终觉得这种方式有点low。不知道网友又遇到过这方面的问题否。给一点思路即可。谢谢。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

平定天下 2022-09-14 23:38:22

手头没环境没法测。
我猜测是this.getClass.getResource().getPath拿到的路径在spark的环境里去hdfs上取了。
我classpath下的文件读取都是用的类库 com.typesafe.config 读取的,本地和线上都没问题。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文