Question

1. 通过almond 安装scala 的 jupyter 支持：

   • 下载 coursier ：

     
     xxxxxxxxxx
     curl -L -o coursier https://git.io/coursier && chmod +x coursier \
       && ./coursier --help

   • 创建一个 launcher：

     
     xxxxxxxxxx
     SCALA_VERSION=2.12.8 ALMOND_VERSION=0.2.1 #环境变量
     coursier bootstrap \
         -r jitpack \
         -i user -I user:sh.almond:scala-kernel-api_$SCALA_VERSION:$ALMOND_VERSION \
         sh.almond:scala-kernel_$SCALA_VERSION:$ALMOND_VERSION \
         --sources --default=true \
         -o almond

   • 安装kernel：

     
     xxxxxxxxxx
     ./almond --install

     一旦安装完成，则可以安全的删除lancher。删除方法为：rm -f almond 。

   • 可以通过命令 jupyter kernelspec list 查看支持的kernel：

     

2. 可以通过https://github.com/jupyter/jupyter/wiki/Jupyter-kernels 查看jupyter 官方支持的 kernel 列表。

3. 通过 sparkmagic 安装spark的jupyter 支持：

   • 启用spark（单机伪分布式）：

     • 下载spark：http://spark.apache.org/downloads.html

     • 解压缩文件，进入spark 目录下的sbin，执行 start-all.sh 。如果希望停止，则执行stop-all.sh 。

       默认的spark ui ：http://127.0.0.1:8080/ 。

       

   • 安装 livy 依赖：

     • 下载livy ：https://livy.incubator.apache.org/download/ 。

     • 解压缩livy，进入livy 文件夹，然后运行bin/livy-server 。

       • 可以在 livy/conf 中配置 livy-server 。
       • 需要export SPARK_HOME 变量。
       • 默认的livy ui：http://localhost:8998 。

       

   • 安装必要组件：

     
     xxxxxxxxxx
     python3.6 -m pip install sparkmagic # 安装 sparkmagic
     jupyter nbextension enable --py --sys-prefix widgetsnbextension # 确保 ipywidgets 安装

   • 通过python3.6 -m pip show sparkmagic 查看 sparkmagic 的安装位置，cd 到该位置。

     

   • 安装一些kernel （如果某些功能不需要，则不用安装）：

     
     xxxxxxxxxx
     jupyter-kernelspec install sparkmagic/kernels/sparkkernel  # scala spark
     jupyter-kernelspec install sparkmagic/kernels/pysparkkernel # pyspark
     jupyter-kernelspec install sparkmagic/kernels/pyspark3kernel # pyspark3
     jupyter-kernelspec install sparkmagic/kernels/sparkrkernel # r spark

   • 可选：可以修改~/.sparkmagic/config.json 来修改配置，其内容参考 https://github.com/jupyter-incubator/sparkmagic/blob/master/sparkmagic/example_config.json 。

     其中 kernel_xx_credentials 中的 url 给出了 livy-server 的 host:port 。

     

   • 可选：启用server 扩展，从而允许以编程的方式更改集群：

     
     xxxxxxxxxx
     jupyter serverextension enable --py sparkmagic

   • 通过jupyter notebook 启动jupyter，新建一个pyspark 页面，执行sc 或者spark。如果输出正常则安装成功。