UTF8 XML 文档中 ASCII 字符串在字节数组中的编码

Question

我有以下一些要求：

...文档必须采用UTF-8编码...姓氏字段仅允许（扩展） ASCII ... 城市仅允许ISOLatin1 ...消息必须作为 IBytesMessage 放入 (IBM Websphere) MessageQueue

为简单起见，XML 文档如下所示：

<?xml version="1.0" encoding="utf-8"?>
<foo>
  <lastname>John ÐØë</lastname>
  <city>John ÐØë</city>
  <other>UTF-8 string</other>
</foo>

“ÐØë”部分是（或应该是）ASCII 值 分别为 208、216、235。

我也有一个对象：

public class foo {
  public string lastname { get; set; }
}

所以我实例化一个对象并设置姓氏：

var x = new foo() { lastname = "John ÐØë", city = "John ÐØë" };

现在这就是我头痛的地方（或 inception 如果你愿意...）：

• Visual studio /源代码采用Unicode格式，
• 因此：对象有一个Unicode姓氏
• XML序列化器使用UTF-8 对文档
• 姓氏进行编码应仅包含（扩展）ASCII 字符；这些字符是有效的 ASCII 字符，但当然是 UTF-8 编码形式，

我的编码通常不会遇到任何问题；我熟悉 每个软件开发人员绝对必须了解 Unicode 和字符集的绝对最低限度（没有任何借口） !) 但这把我难住了...

我知道 UTF-8 文档将完全能够“包含”这两种编码，因为代码点“重叠”。但当我需要将序列化消息转换为字节数组时，我会迷失方向。在进行转储时，我看到 C3 XX C3 XX C3 XX （我手头没有实际的转储）。很明显（或者我已经关注这个问题太久了），姓氏/城市字符串以 unicode 形式放入序列化文档中；字节数组表明了这一点。

现在我必须做什么，在哪里，以确保 Lastname 字符串进入 XML 文档，最后将字节数组作为 ASCII 字符串（以及实际的 208、216、235 字节序列） ，并且该城市将其列为 ISOLatin1？

我知道要求是向后的，但我无法改变这些（第三方）。我总是在内部项目中使用 UTF-8，因此我必须支持 unicode-utf8=>ASCII/ISOLatin1 转换（当然，仅适用于这些集合中的字符）。

我的头很痛...

Answer 1

不必关心 XML 文档如何编码以进行传输。做你想做的事情的正确方法是使用 XML 字符引用 来表示需要如此保留的字符。例如，您

ÐØë

使用 XML 字符引用 作为

ÐØë

接收方 [符合] XML 处理器将/应该/必须将这些数字字符引用转换回它们表示的字符。下面是一些可以实现这一目的的代码：

public static string ConvertToXmlCharacterReference( this string xml )
{
  StringBuilder sb  = new StringBuilder( s.Length ) ;
  const char    SP  = '\u0020' ; // anything lower than SP is a control character
  const char    DEL = '\u007F' ; // anything above DEL isn't ASCII, per se.

  foreach( char ch in xml )
  {
    bool isPrintableAscii = ch >= SP && ch <= DEL ;

    if ( isPrintableAscii ) { sb.Append(ch)                             ; }
    else                    { sb.AppendFormat( "&#x{0:X4}" , (int) ch ) ; }

  }

  string instance = sb.ToString() ;
  return instance ;
}

您还可以使用正则表达式进行替换，或者编写可以完成相同操作的 XSLT。但这项任务是如此微不足道，并不真正值得采取这种方法。上面的代码可能更快，内存占用更少，而且......更容易理解。

但您应该注意，由于您希望在同一文档中保留两种不同的编码，因此您的转换例程需要区分从“扩展 ASCII”到 XML 字符引用的转换和从“ISO Latin 1”到 XML 的转换字符参考。

在这两种情况下，字符引用指定 ISO/IEC 10646 字符集中的代码点 — 本质上是 unicode。您需要将字符映射到适当的代码点。由于 CLR 世界中的字符串是 UTF-16 编码的，因此这不是什么大问题。我相信上面的代码应该可以正常工作，除非你得到了一些非常奇怪的东西，并且与 UTF-16 不能很好地配合。

Answer 2

所以.. System.Text.Encoding.ASCII.GetBytes(string) 可能会做你想要的.. 将字符串转换为ascii编码的字节数组。

Answer 3

UTF-8 编码的字符串/字节数组中不可能有 208、216、235 字节序列。

我希望您可以将 XML 保存为 ISO 8859-1，无论是否在 XML 处理指令中提及（甚至可能指定无效的 UTF） XML 标头中的 -8 编码）。

否则，如果您的要求如您所述 - 只需要求给定输入的确切预期字节数组并制作您自己的自定义序列化（或者可能是自定义编码，也不确定是否可能）。

Answer 4

<块引用>

文档必须采用编码为UTF-8。 Lastname 字段仅允许 ASCII。 城市 仅允许 ISOLatin1。消息必须作为 IBytesMessage 放在 (IBM Websphere) MessageQueue 上。

如果这是精确的规范，那么我认为您可能会误解它。您的任务不是编码之一，而是验证/后备之一。 整个文档 - 包括Lastname和City字段 - 必须编码为UTF-8。很简单，如果 XML 文档将其编码声明为 UTF-8，然后包含在该编码下无效的字节值，则该文档将无效。

方便的是，ASCII 与 Unicode 的前 128 个代码点重叠； Latin1 与前 256 个重叠。

要检查 Lastname 是否可以表示为 ASCII，您可以检查其所有字符的代码点是否在 0–127 范围内。

bool isLastnameAscii = foo.Lastname.All(c => (int)c < 128);

为了符合您的规范，您必须通过将字符串编码为 ASCII，然后将其解码回来，强制无效字符回退到替换字符（通常是 ?）：

foo.Lastname = Encoding.ASCII.GetString(Encoding.ASCII.GetBytes(foo.Lastname));

对于 City 也是如此：

bool isCityLatin1 = foo.City.All(c => (int)c < 256);

Encoding latin1 = Encoding.GetEncoding("iso-8859-1");
foo.City = latin1.GetString(latin1.GetBytes(foo.City));

随后，您应该将所有内容保存为 UTF-8。

我的假设是您的第三方软件可以使用 UTF-8 正确解码 XML 文档；但是，它必须提取 Lastname 和 City 字段，并在仅允许使用 ASCII 和 Latin1 的地方使用它们。它对您施加限制，以确保不会被迫导致数据丢失（因为存在不允许的字符）。

编辑：这是您建议的解决方法。我使用 Latin1 代替“扩展 ASCII”，因为后一个术语不明确。

var x = new foo() { lastname = "John ÐØë", city = "John ÐØë", other = "—" };

using (var stream = new MemoryStream())
using (var utf8writer = new StreamWriter(stream, Encoding.UTF8))            
using (var latin1writer = new StreamWriter(stream, Encoding.GetEncoding("iso-8859-1")))
{
    utf8writer.WriteLine("<?xml version=\"1.0\" encoding=\"utf-8\"?>");
    utf8writer.WriteLine("<foo>");
    utf8writer.Flush();

    latin1writer.WriteLine("  <lastname>" + SecurityElement.Escape(x.lastname) + "</lastname>");
    latin1writer.WriteLine("  <city>" + SecurityElement.Escape(x.city) + "</city>");
    latin1writer.Flush();

    utf8writer.WriteLine("  <other>" + SecurityElement.Escape(x.other) + "</other>");
    utf8writer.WriteLine("/<foo>");
    utf8writer.Flush();

    byte[] bytes = stream.ToArray();
}

SecurityElement.Escape 将字符串中的无效 XML 字符替换为其有效的 XML 等效字符（例如，将 < 替换为 < 和 & 到 &）。

Answer 5

我将其理解为两个独立的要求：

1）XML 必须采用 UTF-8 编码；

2) 城市名称仅限于ISOLatin1。

这意味着当您将 UTF-8 解码为 Uncode 时，城市字符仅来自 ISOLatin1 集。换句话说，XML 可以采用 ISOLatin1 编码（所有文本均来自 ISOLatin1 代码表），但它是 UTF-8。 ISOLatin1 是 Unicode 表的一小部分，UTF-8 是 Unicode 的 8 位编码。

Answer 6

尼古拉斯·凯里接受的答案是好的，但它有错误并且代码不起作用。我没有足够的声誉来发表评论，所以我将在这里编写工作代码：

public static string ConvertToXmlCharacterReference(string xml)
    {
        StringBuilder sb = new StringBuilder();
        const char SP = '\u0020'; // anything lower than SP is a control character
        const char DEL = '\u007F'; // anything above DEL isn't ASCII, per se.
        int i = 0;
        foreach (char ch in xml)
        {
            bool isPrintableAscii = ch >= SP && ch <= DEL;
            if (isPrintableAscii)
            {
                sb.Append(ch);
            }
            else
            {
                sb.AppendFormat("&#x{0:X4};", (int) ch);
            }
        }
        string instance = sb.ToString();
        return instance;
    }