Question

3.2.1 一般工具

表格 17 查看 JVM 的工具

工具	简介	使用
jps	Java Virtual Machine Process Status Tool	jps [ options ] [ hostid ]
jstack	-Stack Trace 可用来监控 java 进程里的各线程状况。	jstack [ option ] pid jstack [ option ] executable core jstack [ option ] [server-id@]remote-hostname-or-IP
jstat	the Java virtual machine Statistics Monitoring Tool	jstat [ generalOption | outputOptions vmid [interval[s|ms] [count]] ]
fabric	集群部署工具

3.2.2 Hadoop 生态专用工具

表格 18 Hadoop 生态专用工具(hadoop/hdfs/hbase)

工具	参数命令 args	完整命令	用途
Hadoop fs	cat chgrp chown chmod cp du dus mv rm put get	Hadoop fs	操作 HDFS，命令与操作 linux 命令基本相同。
	cat	Hadoop fs -cat URI [URI …]	将路径指定文件的内容输出到 stdout。
	chgrp	Hadoop fs -chgrp [-R] GROUP URI [URI …]
Hadoop dfsadmin	safemode	Hadoop dfsadmin [-safemode enter | leave | get | wait]	安全模式开启、关闭、等待。
hdfs dfs	ls mkdir cat find get put	hdfs dfs -[ args]
	ls	hdfs dfs -ls /	查看 hdfs 根路径里的文件
	put	hdfs dfs -put README.md /user/denny/	将 README.md 文件放到/user/denny/目录下
hdfs namenode	format	hfds namenode -format	格式化 namenode，只需一次。

3.2.2.1 Hadoop shell

Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
 CLASSNAME      run the class named CLASSNAME
 or
 where COMMAND is one of:
 fs          run a generic filesystem user client
 version       print the version
 jar <jar>      run a jar file
            note: please use "yarn jar" to launch
               YARN applications, not this command.
 checknative [-a|-h] check native hadoop and compression libraries availability
 distcp <srcurl> <desturl> copy file or directories recursively
 archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
 classpath      prints the class path needed to get the
 credential      interact with credential providers
            Hadoop jar and the required libraries
 daemonlog      get/set the log level for each daemon
 trace        view and modify Hadoop tracing settings

3.2.2.2 HDFS shell

Usage: hdfs [--config confdir] [--loglevel loglevel] COMMAND
    where COMMAND is one of:
 dfs         run a filesystem command on the file systems supported in Hadoop.
 classpath      prints the classpath
 namenode -format   format the DFS filesystem
 secondarynamenode  run the DFS secondary namenode
 namenode       run the DFS namenode
 journalnode     run the DFS journalnode
 zkfc         run the ZK Failover Controller daemon
 datanode       run a DFS datanode
 dfsadmin       run a DFS admin client
 haadmin       run a DFS HA admin client
 fsck         run a DFS filesystem checking utility
 balancer       run a cluster balancing utility
 jmxget        get JMX exported values from NameNode or DataNode.
 mover        run a utility to move block replicas across
            storage types
 oiv         apply the offline fsimage viewer to an fsimage
 oiv_legacy      apply the offline fsimage viewer to an legacy fsimage
 oev         apply the offline edits viewer to an edits file
 fetchdt       fetch a delegation token from the NameNode
 getconf       get config values from configuration
 groups        get the groups which users belong to
 snapshotDiff     diff two snapshots of a directory or diff the
            current directory contents with a snapshot
 lsSnapshottableDir  list all snapshottable dirs owned by the current user
                         Use -help to see options
 portmap       run a portmap service
 nfs3         run an NFS version 3 gateway
 cacheadmin      configure the HDFS cache
 crypto        configure HDFS encryption zones
 storagepolicies   list/get/set block storage policies
 version       print the version

3.2.2.3 Spark

命令	简介	备注
beeline	spark 连接 JDBC/ODBC 引擎	类似 Hive Shell/Beeline
spark-sql	有三种形式，分别是 RDD、DataFrame 和 SQL。

3.2.2.4 HBase shell

表格 19 HBase shell 常用命令

group	名称	命令表达式 command
创建	创建表	create '表名称', '列名称 1','列名称 2','列名称 N'
	添加记录	put '表名称', '行键', '列名称:', '值'
删除	删除记录	delete '表名' ,'行键' , '列名称'
	清空表	truncate '表名称'，相当于 disable + drop + create
	删除一张表	先屏蔽该表，再删除该表。 第一步 disable '表名称' 第二步 drop '表名称'
	删除列族	alter，disable，enable
查看	查看所有记录	scan "表名称"
	查看记录	get '表名称', '行键'
	查看表中的记录总数	count '表名称'
	查看当前记录数	get_counter '表名称'',行键', '列名称:', '值'
	查看表	list
	查看表描述	describe "表名称"
更新	更新记录	就是重写一遍进行覆盖
其它	其它查询命令	exists is_enabled is_disabled get_counter
general	其它系统命令	status version
tools		assign, balance_switch, balancer,close_region, compact, flush, major_compact, move, split, unassign, zk_dump
replication		add_peer, disable_peer,enable_peer, remove_peer, start_replication, stop_replication

备注：1. Rowkey 行键又名行名称，在 HBase 里 rowkey 的设计对性能影响很大，需与业务结合。

2. 列族和列 column：列族里可以含多个列，同一个列族存储在同一块，用':'取列族里的列，如列族名:列名

• DML（data manipulation language），包括 SELECT、UPDATE、INSERT、DELETE，这 4 条命令是用来对数据库里的数据进行操作的语言。
• DDL（data definition language），主要的命令有 CREATE、ALTER、DROP 等，DDL 主要是用在定义或改变表（TABLE）的结构，数据类型，表之间的链接和约束等初始化工作上，他们大多在建立表时使用。
• DCL（Data Control Language）： 是数据库控制功能。是用来设置或更改数据库用户或角色权限的语句，包括（grant,deny,revoke 等）语句。在默认状态下，只有 sysadmin,dbcreator,db_owner 或 db_securityadmin 等人员才有权力执行 DCL。
• TCL – Transaction Control Language，事务控制语言。

3.2.2.5 Hive shell (CLI)

hive -u -p

3.2.2.6 Hive BeeLine (CLI)

beeline -u [user] -p [pwd] -d []

使用 thrift 协议，连接 Hive Server 2.