Spark目录下没有lib目录,-bash: sbt/sbt: Permission denied

发布于 2022-09-02 09:29:24 字数 825 浏览 14 评论 0

1、想要解决的问题:

Spark目录下没有lib目录。

2、一句话描述:

Spark目录下没有lib目录, 于是我使用“sbt/sbt assembly”命令打包,但是mac终端提示-bash: sbt/sbt: Permission denied

3、详细情况:

在用Intellij创建Scala项目时,我参考的《Spark开发环境配置及流程》提到:

选择菜单中的“File”→“project structure”→“Libraries”,然后点击“+”导入spark-assembly-1.2.0-hadoop2.4.0.jar。
这个jar包包含Spark的所有依赖包和Spark源码。一开始我们下载的Spark版本是预编译版本的(见《Spark on yarn搭建过程》 ),所以这个包可以在解压的Spark目录下lib目录里找到,假如说下载的没有编译的,需要通过sbt/sbt assembly命令打包。

于是我在spark源代码目录spark-1.6.0运行了sbt/sbt assembly命令,如下图所示:
clipboard.png
但是mac终端提示-bash: sbt/sbt: Permission denied

4、备注

使用的系统:最新版的mac系统

5、需要解决的关键问题:

Spark目录下没有lib目录。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(3

谁的新欢旧爱 2022-09-09 09:29:24

可能下载的源码有问题,重新下载再编译,或者下载预编译版本(里面有jar包)。
还有可能是sbt本身没有安装好。

薄荷港 2022-09-09 09:29:24

1、下载spark代码的时候直接下载预编译版本的,如下:
在下拉匡中选择一个预编译版本。
clipboard.png

2、下载source code以后,再编译

灰色世界里的红玫瑰 2022-09-09 09:29:24

下载pre build后不需要任何编译,直接去找到 bin目录下的 spark shell 开始干活。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文