如何比较包含非英语字符的 unicode 字符串以按字母顺序排序？

Question

我正在尝试根据其中包含非英语字符的 unicode 字符串值对数组/列表/任何数据进行排序，我希望它们按字母顺序正确排序。

我已经编写了很多代码（D2010，win XP），我认为这些代码对于未来的国际化来说非常可靠，但事实并非如此。它全部使用 unicodestring（字符串）数据类型，到目前为止我只是将英文字符放入 unicode 字符串中。

看来我必须承认犯了一个非常严重的 unicode 错误。我和我的德国朋友交谈，并尝试了一些德语 ß（ß 是“ss”，应该位于字母表中的 S 之后和 T 之前）和 ö 等（注意变音符号），但我的排序算法都不再起作用了。结果非常混乱。垃圾。

从那时起，我广泛阅读并学到了很多有关 unicode 排序规则的令人不快的事情。事情看起来很严峻，比我想象的要严峻得多，我已经严重搞砸了。我希望我错过了一些东西，事情实际上并不像现在看起来那么严峻。我一直在修改 Windows api 调用（RtlCompareUnicodeString）但没有成功（保护错误），我无法让它工作。我了解到的 API 调用的问题是，它们在各种较新的 Windows 平台上发生了变化，而且 delphi 很快就会跨平台，后来有了 Linux，我的应用程序是客户端服务器，所以我需要担心这一点，但说实话，情况是什么是吗（坏）我将不胜感激任何进展，即特定于 win api 的进展。

使用 win api 函数 RtlCompareUnicodeString 是否是显而易见的解决方案？如果是这样，我真的应该再试一次，但是说实话，我对与 unicode 排序相关的所有问题感到惊讶，而且我根本不清楚我应该做什么来以这种方式比较这些字符串。

我了解到 IBM ICU c++ 开源项目，尽管适用于较旧版本的 ICU，但它有一个 delphi 包装器。这似乎是一个非常全面的解决方案，与平台无关。当然，我不能考虑为此创建一个delphi包装器（或更新现有的包装器）以获得unicode排序规则的良好解决方案？

我非常高兴听到两个层面的建议：-

A）Windows 特定的非便携式解决方案，我现在很高兴，忘记客户端服务器的影响！ B) 一个更便携的解决方案，不受各种 XP/vista/win7 版本的 unicode api 函数的影响，因此对 XE2 mac 支持和未来的 Linux 支持很有帮助，更不用说客户端服务器的复杂性了。

顺便说一句，我真的不想做“凑合”的解决方案，在比较之前扫描字符串并替换某些棘手的字符等，我已经读过这些内容。我在上面给出了德语示例，这只是一个示例，我想让它适用于所有（或至少大多数，远东，俄语）语言，我不想为特定的一两种语言做解决方法。我也不需要任何有关排序算法的建议，它们很好，只是字符串比较位出了问题。

我希望我错过了/做了一些愚蠢的事情，这一切看起来都很令人头痛。

谢谢。

---

编辑，Rudy，这是我尝试调用 RtlCompareUnicodeString 的方法。抱歉耽搁了，我在这件事上度过了一段糟糕的时光。

program Project26

{$APPTYPE CONSOLE}

uses
  SysUtils;


var
  a,b:ansistring;

  k,l:string;
  x,y:widestring;
  r:integer;

procedure RtlInitUnicodeString(
  DestinationString:pstring;
  SourceString:pwidechar) stdcall; external 'NTDLL';

function RtlCompareUnicodeString(
  String1:pstring;
  String2:pstring;
  CaseInSensitive:boolean
  ):integer stdcall; external 'NTDLL';


begin

  x:='wef';
  y:='fsd';

  RtlInitUnicodeString(@k, pwidechar(x));
  RtlInitUnicodeString(@l, pwidechar(y));

  r:=RtlCompareUnicodeString(@k,@l,false);

  writeln(r);
  readln;

end.

我意识到这很可能是错误的，我不习惯直接调用 api 函数，这是我最好的猜测。

关于您的 StringCompareEx api 函数。看起来确实不错，但仅适用于 Vista +，我使用的是 XP。 StringCompare 在 XP 上运行，但那不是 Unicode！

回顾一下，正在进行的基本任务是比较两个字符串，并根据当前 Windows 语言环境中指定的字符排序顺序进行比较。

谁能确定 ansicomparetext 是否应该这样做？它对我不起作用，但其他人说它应该，而且我读过的其他东西表明它应该。

这是我在德语语言环境中使用 AnsiCompareText 时得到的 31 个测试字符串（空格分隔 - 没有字符串包含空格）：-

• arß Asß asß aßs no nö ö ön oo öö oöo öoö öp pö ss SS ßaß ßbß sß Sßa Sßb ßß ssss SSSS ßßß ssßß SSßß ßz ßzß z zzz

---

编辑 2.

我仍然很想知道我是否应该期望 AnsiCompareText 使用区域设置信息工作，正如 lkessler 所说的那样，lkessler 之前也发布过有关这些主题的文章，并且似乎已经发布过以前经历过这个。

然而，根据 Rudy 的建议，我也一直在查看 CompareStringW - 它与 CompareString，所以它不是我之前所说的非 unicode。

即使 AnsiCompareText 不起作用，尽管我认为它应该起作用，但 win32api 函数 CompareStringW 确实应该起作用。现在我已经定义了我的 API 函数，我可以调用它，并且得到一个结果，并且没有错误......但是无论输入字符串如何，我每次都会得到相同的结果！它每次都返回 1 - 这意味着小于。这是我的代码，

var
  k,l:string;

function CompareStringW(
  Locale:integer;
  dwCmpFlags:longword;
  lpString1:pstring;
  cchCount1:integer;
  lpString2:pstring;
  cchCount2:integer
  ):integer stdcall; external 'Kernel32.dll';

begin;

  k:='zzz';
  l:='xxx';

  writeln(length(k));
  r:=comparestringw(LOCALE_USER_DEFAULT,0,@k,3,@l,3);

  writeln(r); // result is 1=less than, 2=equal, 3=greater than
  readln;

end;

我觉得在经历了很多痛苦之后我现在已经有所进展。我很高兴了解 AnsiCompareText，以及我在上面的 CompareStringW api 调用中做错了什么。谢谢。

---

编辑 3

首先，我自己修复了对 CompareStringW 的 api 调用，当我应该执行 PString(mystring) 时，我传入了 @mystring。现在一切正常。

r:=comparestringw(LOCALE_USER_DEFAULT,0,pstring(k),-1,pstring(l),-1);

现在，你可以想象当我仍然得到与一开始相同的排序结果时我的沮丧...

• arß asß aßs Asß no nö ö ön oo öö oöo öoö öp pö ss SS ßaß ßbß sß Sßa Sßb ßß ssss SSSS ßßß ssßß SSßß ßz ßzß z zzz

您可能还可以想象，当我意识到排序顺序是正确的，并且从一开始就是正确的时，我会感到极度沮丧，更不用说同时的喜悦了！说起来有点恶心，但一开始就没有任何问题——这都是因为我缺乏德语知识。我相信排序是错误的，因为你可以看到上面的字符串以 S 开头，然后它们以 ß 开头，然后再次 s 并返回 ß 等等。好吧，我不会说德语，但我仍然可以清楚地看到它们没有正确排序 - 我的德国朋友告诉我 ß 位于 S 之后，T 之前......我错了！发生的情况是字符串函数（AnsiCompareText 和 winapi CompareTextW）将每个“ß”替换为“ss”，将每个“ö”替换为普通“o”...所以如果我将上面的结果进行搜索并按照描述进行替换，我得到...

• arss asss asss Asss no no o on oo oo ooo ooo op po ss SS ssass ssbss sss Sssa Sssb ssss ssss SSSS ssssss ssssss SSssss ssz sszss z zzz

对我来说看起来很正确！一直如此。

我非常感谢所提供的所有建议，并且非常抱歉这样浪费了您的时间。那些德语 ß 让我很困惑，内置的 delphi 函数或其他任何东西都没有任何问题。看起来好像确实有。我犯了一个错误，在我的测试数据中将它们与普通的“s”组合在一起，任何其他字母都不会产生这种未排序的错觉！那些弯弯曲曲的 ß 让我看起来像个傻瓜！ βs！

鲁迪和凯斯勒，我们都特别有帮助，我必须接受凯斯勒的回答是最正确的，对不起鲁迪。

Answer 1

您说您自己调用 Windows API 时遇到问题。您能否发布代码，以便这里的人们可以了解失败的原因？它并不像看起来那么难，但确实需要一些小心。 ISTM 认为 RtlCompareUnicodeStrings() 级别太低。

我找到了一些解决方案：

不可移植

您可以使用 Windows API 函数 比较字符串Ex。这将使用 Unicode 特定排序规则类型进行比较。您可以指定如何完成此操作（请参阅链接）。它确实需要宽字符串，即指向它们的 PWideChar 指针。如果您在调用它时遇到问题，请大声喊叫，我会尝试添加一些演示代码。

或多或少的可移植性

为了使其或多或少的可移植性，您可以编写一个比较两个字符串的函数，并使用条件定义为平台选择不同的比较 API。

Answer 2

尝试使用 CompareStr 区分大小写，或 CompareText 如果您想要排序，则不区分大小写在任何语言环境中都完全相同。

并使用 AnsiCompareStr 区分大小写，或 AnsiCompareText 案例如果您希望排序特定于用户的区域设置，则不敏感。

请参阅：如何让 TStringList 在 Delphi 中以不同方式排序 有关于此的更多信息。

Answer 3

在 Unicode 中，字符的数字顺序当然不是排序顺序。 HeartWare 提到的 AnsiCompareText 在比较字符时确实会考虑区域设置细节，但是，正如您所发现的，它对排序顺序没有任何作用。您正在寻找的称为语言的排序规则，它指定考虑到变音符号等的语言的字母排序顺序。它们在旧的 Ansi 代码页面中有所隐含，尽管它们也没有考虑使用相同字符集的语言之间的排序差异。

我检查了 D2010 文档。除了一些 TIB* 组件之外，我没有找到任何链接。 C++ builder 似乎确实有一个考虑排序规则的比较函数，但这在 Delphi 中没有多大用处。在那里您可能必须直接使用一些 Windows 的 API 函数。

文档：

• 全部排序整理： http://www.siao2.com/2008/ 12/06/9181413.aspx
• 整理术语：http://msdn.microsoft.com/en-us/library/ ms143726(SQL.90).aspx（尽管这与 MS SQL 2005 相关，但可能会有所帮助）

“对“整理”全部进行排序”一文由 Michael 撰写Kaplan 对 Unicode 和各种语言的复杂性有着深入的了解。当我从 D2006 移植到 D2009 时，他的博客对我来说非常宝贵。

Answer 4

您尝试过 AnsiCompareText 吗？尽管它被称为“Ansi”，但我相信它会调用特定于操作系统的 Unicode 比较例程...

它还应该使您免受跨平台依赖性的影响（前提是 Embarcadero 在各种操作系统中提供兼容版本）他们的目标）。

我不知道与各种奇怪的 Unicode 字符串编码方式的比较效果如何，但尝试一下并让我们知道结果......