spark工程里面有关配置文件的使用情况
问题描述
sparksql项目,sql脚本是放在resource/sql/文件在下面(业务不同,脚本有点多);本地编写代码加载sql脚本使用this.getClass.getResource().getPath方式,获取路径进行文件内容读取组装成sql字符串进行执行。
现在需要将打好的jar进行spark-submit提交,运行结果始终就出现文件路径无法找见(打印日志也看得出来路径根本不存在;可问题是解压了打包的jar包,配置文件就在里面)
问题出现的环境背景及自己尝试过哪些方法
自己尝试过的方式是将打包和配置文件近分散处理,指定配置文件在linux中的位置进行读取加载。但是始终觉得这种方式有点low。不知道网友又遇到过这方面的问题否。给一点思路即可。谢谢。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
手头没环境没法测。
我猜测是this.getClass.getResource().getPath拿到的路径在spark的环境里去hdfs上取了。
我classpath下的文件读取都是用的类库 com.typesafe.config 读取的,本地和线上都没问题。