从 SQL Server 检索 XML 时如何防止非法字符出现在 XML 中

Question

有时，我的类中的属性的字符串值会变得奇怪。它们包含非法字符并像这样显示（带框）：

123[]45[]6789

我假设这些是非法/无法识别的字符。我将所有对象序列化为 XML，然后通过 Web 服务上传它们。当我再次检索它们时，一些字符被替换为奇怪的字符。使用 Word 键入的连字符和破折号最常发生这种情况。是这个原因吗？

无论如何，我可以通过正则表达式或其他方式检查字符串是否包含这些无法识别的字符吗？

Answer 1

首先要记住的是，不存在“特殊字符”或“非法字符”之类的东西。有些字符在某些情况下是特殊的，有些是非字符，但不存在一般的“特殊字符”或“非法字符”。

您这里拥有的是：

1. 完全正常的字符，您的字体没有字形。
2. 不可打印的完全正常的字符（例如控制字符）。
3. 调试器如何工作的人工制品。

首先要找出这个角色是什么。找到该字符的整数值，然后查找。

需要注意的一个重要因素是 U+FFFD (�)，因为当解码器收到一堆在它尝试使用的编码上下文中没有意义的字节时，有时会使用它（例如 0x80 后跟 0x20 使得在 UTF-8 中没有意义，一种可能的响应是使用 U+FFFD 作为“这里有奇怪的东西”标记，其他可能的响应是抛出错误，并且也默默地忽略错误或尝试通过最后两个来猜测意图带来安全问题）。

一旦你弄清楚了这一点，你就可以开始推理为什么它会在不符合预期的情况下进入那里。可能是编码问题（写入的字符集不是读入的字符集）？它真的是有意存在的吗？会不会是别的什么？在您获得有关该错误的更多信息之前，您无法开始回答这个问题。

最后，还有如何应对的问题。从您在上述研究中找到的答案中，这一点有望变得显而易见。答案可能是“没什么，没关系”，可能是简单的事情，也可能是困难的事情。还不能说。

不要仅使用正则表达式进行过滤。也许这将是正确的解决方案，但您还不知道，所以也许您正在制造比现在更难发现的更深层次的错误，或者损坏了完美的数据。

Answer 2

就我个人而言，我不认为使用正则表达式来检查这些字符是正确的解决方案。如果您不存储这些字符，那么显然存在某种编码问题。

验证 XML 文档本身是否使用正确的编码来存储，以支持您需要存储的字符。然后验证您在读取文件时是否使用与文档相同的编码，即如果您的 XML 文档存储为 UTF-8，那么您需要确保在读取它时将其编码为 UTF-8。

Answer 3

更深入地了解字符本身，实际的字符值是什么？

当一个角色显示为一个正方形时，这意味着您无法在视觉上表示它。这要么是因为它是非视觉字符，要么是在当前字符集之外。

编辑，不

在您的示例中，我大胆猜测您看到了嵌入的换行符。

Answer 4

定义允许的字符并阻止其他所有内容，即：

// only lowercase letters and digits
if(Regex.IsMatch(yourString, @"^[a-z0-9]*$"))
{
    // allowed
}

但我认为您的问题可能出在其他地方，因为您说它来自序列化（有效）字符串然后反序列化（无效）字符串。您可能使用默认序列化，并且没有为您的类应用正确的 ISerialized 实现（或正确使用 Serialized 属性），从而导致属性或字段被序列化而你不想被序列化。

PS：其他人提到了编码问题，这是一个可能的原因，可能意味着您根本无法读回数据。关于编码，有一个简单的规则：在任何地方（流、数据库、xml）使用相同的编码，并且要具体。如果不是，则使用默认编码，该编码可能因系统而异。

---

编辑：可能的解决方案

基于新信息（请参阅原始问题下的线程），很明显该问题与编码有关。 OP 提到它出现时带有破折号，当在一些花哨的编辑环境中使用时，破折号通常会被替换为漂亮的破折号，例如“—”（—）。由于似乎在如何修复 SQL Server 以接受正确编码的字符串方面存在一些不清楚之处，因此您还可以在 XML 中解决此问题。

创建 XML 时，只需将编码更改为最基本的编码 (US-ASCII)。这将自动强制 XML 编写器使用正确的数字实体。当您反序列化时，这将在您的字符串中正确解析，无需再费力。大致思路如下：

Stream stream = new MemoryStream();
XmlWriterSettings settings = new XmlWriterSettings();
settings.Encoding = Encoding.ASCII;
XmlWriter writer = XmlWriter.Create(stream, settings);
// make sure to output the xml-prolog header

但请注意使用 StringBuilder 或 StringWriter，因为它固定为使用 UTF-16，并且 XmlWriter 将始终以该编码写入，更多信息这个问题在我的博客中，它与 SQL Server 不兼容。

注意：当使用 ASCII 编码时，任何高于 0x7F 的字符都会被编码。因此，é 看起来像 é ，破折号可能看起来像 —，但这意味着是一样的，你不应该担心这一点。每个支持 XML 的工具都会正确解释此输入。

注 2：您想要更改 XML 编写方式的位置是您所说的 Web 服务，它接收 XML，然后将其存储到 SQL 中服务器数据库。在存储到 SQL Server 之前，必须应用更改。链中较早的部分是无用的。

Answer 5

public static T DeserializeFromXml<T>(string xml)
        {
            T result;
            XmlSerializerFactory serializerFactory = new XmlSerializerFactory();
            XmlSerializer serializer =serializerFactory.CreateSerializer(typeof(T));

            using (StringReader sr3 = new StringReader(xml))
            {
                XmlReaderSettings settings = new XmlReaderSettings()
                {
                    CheckCharacters = false // default value is true;
                };

                using (XmlReader xr3 = XmlTextReader.Create(sr3, settings))
                {
                    result = (T)serializer.Deserialize(xr3);
                }
            }

            return result;
        }