如何在hive中将ansi转换为utf8

Question

我想在配置单元中使用自定义输入格式，我在这里找到代码： https://github.com/msukmanowsky/OmnitureDataFileInputFormat 但是当我完成测试代码时，我发现我要在hive中解析的ftp日志文件是由“ANSI”（实际上是“GBK”）编码的，因此结果无法在java控制台中正常显示。

请问您能帮我看看如何转换代码才能正常显示吗，谢谢。 您可以在 OmnitureDataFileInputFormat 中制作一个示例。代码在地址中： https://github.com/msukmanowsky/OmnitureDataFileInputFormat。

多谢！

Answer 1

以下通用 UDF 可用于将 GBK 字符集的字段转换为 UTF-8。
在对该字段进行任何操作之前，应使用此 UDF。

public class GUDFTestGBK extends GenericUDF{

private StringObjectInspector oi;

@Override
public ObjectInspector initialize(ObjectInspector [] arguments) throws  UDFArgumentException {
    if (arguments.length != 1) {
        throw new UDFArgumentLengthException(
            "The function GUDFTestGBK(s) takes exactly 1 arguments.");
    }

    converter = ObjectInspectorConverters.getConverter(arguments[0],
        PrimitiveObjectInspectorFactory.writableStringObjectInspector);
    oi = (StringObjectInspector)arguments[0];

    return PrimitiveObjectInspectorFactory.writableStringObjectInspector;
}


@Override
public Object evaluate(DeferredObject [] arguments) throws HiveException{

    try{
        Text str = oi.getPrimitiveWritableObject(arguments[0].get());
        byte [] bytes = str.getBytes();
        String s = new String(bytes, "GBK");
        Text new_str = new Text(s.getBytes("UTF-8"));
        return new_str;
    } catch (Exception e){
        return new Text("Charset conversion failed.");
    }
}

@Override
public String getDisplayString(String[] children){
    return "GBKToUTF8( " + children[0] + " )";
}
}