如何将非 UTF-8 格式的 xml 文件转换为符合 UTF-8 格式的 xml

Question

我有一个巨大的 xml 文件，其示例数据如下：

 <vendor name="aglaia"><br>
              <vendorOUI oui="000B91" description="Aglaia Gesellschaft für Bildverarbeitung ud Kommunikation m" /><br>
         </vendor><br>
         <vendor name="ag"><br>
              <vendorOUI oui="0024A9" description="Ag Leader Technology" /><br>
         </vendor><br>

可以看到有文本“Gesellschaft für Bildverarbeitung”，它不符合 UTF-8 标准，因为我从 xml 验证器收到错误，错误如下：

Import failed:
com.sun.org.apache.xerces.internal.impl.io.MalformedByteSequenceException: Invalid byte 1 of 1-byte UTF-8 sequence.

那么问题来了，在Linux环境下如何处理这个问题，将xml文件转换为UTF-8兼容格式呢？或者 bash 中有没有一种方法可以在首先创建 xml 时确保所有变量/字符串都以 UTF-8 兼容格式存储？

Answer 1

使用字符集转换工具：

iconv -f ISO-8859-1 -t UTF-8 filename.txt

请参阅 gnu-page

...并在文件 http://standards.ieee.org/develop/regauth/oui/oui.txt“aglia”（如上面的示例）报告为：

00-0B-91   (hex)            Aglaia Gesellschaft für Bildverarbeitung und Kommunikation m
000B91     (base 16)        Aglaia Gesellschaft für Bildverarbeitung und Kommunikation m
                            Tiniusstr. 12-15
                            Berlin  D-13089
                            GERMANY

看起来“ü”是被破坏的角色。

更新

使用 wget 下载“oui.txt”时，我在文件中看到字符“ü”。如果您没有，那么您下载的内容就会损坏。考虑使用其中之一：

• wget --header='Accept-Charset: utf-8'
• 尝试使用 curl -o oui.txt

如果上述方法均不起作用，只需在您喜欢的浏览器中打开链接并执行“另存为”即可。在这种情况下，请注释下面脚本中的 wget 行。

我成功使用了以下脚本（更新 BEGIN 和 END 以获取有效的 XML 文件）

#!/bin/bash

wget http://standards.ieee.org/develop/regauth/oui/oui.txt
iconv -f iso-8859-15 -t utf-8 oui.txt > converted

awk 'BEGIN {
         print "HTML-header"
     }

     /base 16/ {
         printf("<vendor name=\"%s\">\n", $4)
         read
         desc = substr($0, index($0, $4))
         printf("<vendorOUI oui=\"%s\" description=\"%s\"/>\n", $1, desc)
     }
     END {
         print "HTML-footer"
    }
    ' converted

希望这有帮助！