识别泰米尔语字符串并使用 c 或 c++ 处理它们以及unicode的使用

Question

输入是用罗马字母以外的脚本语言给出的。c 或 c++ 程序必须识别它们。

我如何接受泰米尔语输入并将其拆分为字母，以便我可以识别每个泰米尔字母？

如何使用 wchar_t 和区域设置？

Answer 1

C++ 标准库不能完全处理 Unicode，C 也不能。你最好使用像 Boost 这样的跨平台库

Answer 2

包含并使用 WinAPI 和 windows.h 允许您使用 Unicode，但仅限于 Win32 程序。

Answer 3

请参阅此处，了解我之前关于此主题的咆哮。

假设您的平台能够处理泰米尔语字符，我建议执行以下事件序列：

I. 将输入字符串转换为宽字符串：

#include <clocale>

int main()
{
  setlocale(LC_CTYPE, "");
  const char * s = getInputString(); // e.g. from the command line

  const size_t wl = mbstowcs(NULL, s, 0);
  wchar_t * ws = new wchar_t[wl];
  mbstowcs(ws, s, wl);
  //...

II. 将输入字符串转换为宽字符串。将宽字符串转换为具有明确编码的字符串：

#include <iconv.h>

// ...

iconv_t cd = iconv_open("UTF32", "WCHAR_T");
size_t iin = wl;
size_t iout = 2 * wl; // random safety margin
uint32_t * us = new uint32_t[iout];
iconv(cd, reinterpret_cast<char*>(ws), &iin, reinterpret_cast<char*>(us), &iout);
iconv_close(cd);

// ...

最后，us 中有一个组成输入文本的 Unicode 代码点数组。您现在可以处理这个数组，例如，通过在列表中查找每个代码点并检查它是否来自泰米尔语脚本，并对其进行任何您认为合适的操作。