Question

表格 9 Hadoop 组件安装要点列表

软件	安装	启动	使用
Hadoop	七步骤。包括多台主机间免密码访问，安装 JAVA，编译安装 Hadoop，配置 Hadoop 环境变量和配置文件。	# 同时启动 YARN 和 HDFS $ sbin/start-all.sh	$ hadoop [cmd]
hbase	下载二进制；编辑配置文件： hbase-env.sh 、hbase-site.xml 和 regionservers	$ bin/start-hbase.sh	$ hbase shell
spark	下载二进制，解压即可用。	# 自带集群模式启动 $ sbin/start-all.sh	3 种语言交互环境（bin 目录）pyspark/spark-shell/sparkR 1 个脚本提交命令： ./bin/spark-submit [script]
Hive	下载二进制，解压即可用。	./bin/Hive

备注：Hadoop 生态一般依赖于 hdfs，所以一般要先启动 hadoop。

1. jps 示例：

   denny@denny-ubuntu:~$ jps
   4786 Master
   4900 Worker
   4280 ResourceManager
   4417 NodeManager
   4119 SecondaryNameNode
   5806 Jps
   3925 DataNode
   

   说明：master/worker 是 spark 独立模式集群的进程；NodeManager/SecondaryNameNode/DataNode 是 Hadoop HDFS 的进程；Resource Manager 是 YARN 集群管理调度进程。

2. 启动 hadoop 命令

start-all.sh = start-dfs.sh + start-yarn.sh

# 1) hdfs：相应启动 namenode, datanode, secondarynamenode,
$ ./sbin/start-dfs.sh

# 2) yarn
$ ./sbin/start-yarn.sh

3. 启动 spark 命令

start-all.sh = start-master.sh + start-slave.sh

1. spark master

   /home/denny/source/jdk1.8.0_121/bin/java -cp /home/hadoop/bin/spark-2.1.0-bin-hadoop2.6/conf/:/home/hadoop/bin/spark-
   2.1.0-bin-hadoop2.6/jars/*:/usr/local/hadoop/etc/hadoop/ -Xmx1g org.apache.spark.deploy.master.Master --host denny-ubuntu --port 707
   7 --webui-port 8080
   

2）spark worker

/usr/lib/jvm/java-7-openjdk-i386/jre/bin/java -cp /home/hadoop/bin/spark-2.1.0-bin-hadoop2.6/conf/:/home/hadoop/bin/s
park-2.1.0-bin-hadoop2.6/jars/* -Xmx1g -XX:MaxPermSize=256m org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://denny-ub
untu:7077