UTF-8 到 Unicode 转换

Question

我在将 UTF-8 转换为 Unicode 时遇到问题。

下面是代码：

int charset_convert( char * string, char * to_string,char* charset_from, char* charset_to)
{
    char *from_buf, *to_buf, *pointer;
    size_t inbytesleft, outbytesleft, ret;
    size_t TotalLen;
    iconv_t cd;

    if (!charset_from || !charset_to || !string) /* sanity check */
        return -1;

    if (strlen(string) < 1)
        return 0; /* we are done, nothing to convert */

    cd = iconv_open(charset_to, charset_from);
    /* Did I succeed in getting a conversion descriptor ? */
    if (cd == (iconv_t)(-1)) {
        /* I guess not */
        printf("Failed to convert string from %s to %s ",
              charset_from, charset_to);
        return -1;
    }
    from_buf = string;
    inbytesleft = strlen(string);
    /* allocate max sized buffer, 
       assuming target encoding may be 4 byte unicode */
    outbytesleft = inbytesleft *4 ;
    pointer = to_buf = (char *)malloc(outbytesleft);
    memset(to_buf,0,outbytesleft);
    memset(pointer,0,outbytesleft);

        ret = iconv(cd, &from_buf, &inbytesleft, &pointer, &outbytesleft);ing
    memcpy(to_string,to_buf,(pointer-to_buf);
}

main()：

int main()
{    
    char  UTF []= {'A', 'B'};
    char  Unicode[1024]= {0};
    char* ptr;
    int x=0;
    iconv_t cd;

    charset_convert(UTF,Unicode,"UTF-8","UNICODE");

    ptr = Unicode;

    while(*ptr != '\0')
    {   
        printf("Unicode %x \n",*ptr);
        ptr++;
    }
    return 0;
}

它应该给出 A 和 B 但我得到：

ffffffff
fffffffe
41 

谢谢， 桑迪普

Answer 1

看起来你正在以小端格式输出 UTF-16：

ff fe 41 00 ...

这是 U+FEFF （ZWNBSP 又名字节顺序标记），U+0041 （拉丁大写字母 A），...

然后你停止打印，因为你的 while 循环已在第一个空字节处终止。以下字节应为：42 00。

您应该从函数返回一个长度，或者确保输出以空字符 (U+0000) 终止并循环，直到找到它。

Answer 2

UTF-8 是统一码。

除非您需要其他类型的 Unicode 编码（例如 UTF-16 或 UTF-32），否则不需要隐藏

Answer 3

UTF 不是 Unicode。 UTF 是 Unicode 标准中整数的编码。这个问题本身是没有意义的。如果你的意思是你想从（任何）UTF 转换为 unicode 代码点（即代表分配的代码点的整数，大致是一个字符），那么你需要做一些阅读，但它涉及位移位有关 UTF-8 字节序列中 1、2、3 或 4 个字节的值（请参阅 Wikipedia< /a>，而Markus Kuhn 的文本也很棒）

Answer 4

除非我遗漏了一些东西，但没有人指出，“UNICODE”在 libiconv 中不是有效的编码名称，因为它是一系列编码的名称。

http://www.gnu.org/software/libiconv/

（编辑）实际上 iconv -l 将 UNICODE 显示为列出的条目，但没有详细信息，在源代码中，其在注释中列为 UNICODE-LITTLE 的别名，但在子注释中提到：

 * UNICODE (big endian), UNICODEFEFF (little endian)
   We DON'T implement these because they are stupid and not standardized.

在别名头文件中 UNICODELITTLE （无连字符）解析如下：

lib/aliases.gperf:UNICODELITTLE, ei_ucs2le

即UCS2-LE（UTF-16 Little Endian），它应该与Windows内部“Unicode”编码匹配。

http://en.wikipedia.org/wiki/UTF-16/UCS-2

但是，明确建议您显式指定 UCS2-LE 或 UCS2-BE，除非第一个字节是 字节顺序标记 (BOM) 值 0xfeff 指示字节顺序方案。

=>您将 BOM 视为输出的第一个字节，因为这就是“UNICODE”编码名称的含义，它意味着带有指示字节顺序方案的标头的 UCS2。