Spark目录下没有lib目录,-bash: sbt/sbt: Permission denied
1、想要解决的问题:
Spark目录下没有lib目录。
2、一句话描述:
Spark目录下没有lib目录, 于是我使用“sbt/sbt assembly”命令打包,但是mac终端提示-bash: sbt/sbt: Permission denied
3、详细情况:
在用Intellij创建Scala项目时,我参考的《Spark开发环境配置及流程》提到:
“
选择菜单中的“File”→“project structure”→“Libraries”,然后点击“+”导入spark-assembly-1.2.0-hadoop2.4.0.jar。
这个jar包包含Spark的所有依赖包和Spark源码。一开始我们下载的Spark版本是预编译版本的(见《Spark on yarn搭建过程》 ),所以这个包可以在解压的Spark目录下lib目录里找到,假如说下载的没有编译的,需要通过sbt/sbt assembly命令打包。
”
于是我在spark源代码目录spark-1.6.0运行了sbt/sbt assembly命令,如下图所示:
但是mac终端提示-bash: sbt/sbt: Permission denied
4、备注
使用的系统:最新版的mac系统
5、需要解决的关键问题:
Spark目录下没有lib目录。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(3)
可能下载的源码有问题,重新下载再编译,或者下载预编译版本(里面有jar包)。
还有可能是sbt本身没有安装好。
1、下载spark代码的时候直接下载预编译版本的,如下:
在下拉匡中选择一个预编译版本。
2、下载source code以后,再编译
下载pre build后不需要任何编译,直接去找到 bin目录下的 spark shell 开始干活。