Hive 之 UDF 及 MR

Question

UDF UDTF UDAF

Hive 自定义函数包括三种 UDF、UDAF、UDTF。使用方式 ：在 HIVE 会话中 add 自定义函数的 jar 文件，然后创建 function 继而使用函数

• UDF(User-Defined-Function)： 一进一出
• UDAF(User- Defined Aggregation Funcation)： 聚集函数，多进一出。Count/max/min
• UDTF(User-Defined Table-Generating Functions)： 一进多出，如 lateral view explore()

编写 UDF

编写 Hive UDF 有两种方式：

• extends UDF ,重写 evaluate 方法
• extends GenericUDF ,重写 initialize getDisplayString evaluate 方法

注册 UDF

临时 UDF

• 编写 udf,打包
• add jar /path/to/jar
• create temporary function <function_name> as 'com.ly.udf.HelloWorld'
• select <function_name>(param);

永久 UDF

将 udf 的 jar 包上传到 hdfs 中,创建的时候指定 hdfs 中的路径

• hadoop fs -put /local/path /hdfs/path
• create function default.add as 'com.bigdata.add' using jar 'hdfs:///service/add.jar'

查看添加 jar 包相关

• add jar /path/to/jar :将指定位置的 jar 包添加到 classpath ,可以是本地文件也可以是 hdfs 文件
• list jar :显示已经添加到 classpath 的变量