使用javascript，我如何计算亚洲字符和英语单词的混合

Question

我需要取一串混合的亚洲字符（目前，假设只有中文汉字或日语汉字/平假名/片假名）和“字母​​数字”（即英语、法语），并按以下方式对其进行计数：

1）对每个进行计数亚洲字符为 1； 2) 将每个字母数字WORD计为1；

举几个例子：

株式会社myCompany = 4 个字符 + 1 个单词 = 总共 5 个 株式会社マイコ = 7 chars

---

到目前为止我唯一的想法是使用：

var wordArray=val.split(/\w+/);

然后检查每个元素以查看其内容是否是字母数字（因此算作 1）或不是（因此取数组长度）。但我觉得这根本不是很聪明，而且被统计的文本可能多达 10,000 个单词，所以不是很快。

有想法吗？

Answer 1

不幸的是 JavaScript 的 RegExp 不支持 Unicode 字符类； \w 仅适用于 ASCII 字符（以某些浏览器错误为模）。

不过，您可以按组使用 Unicode 字符，因此如果您可以将您感兴趣的每组字符隔离为一个范围，那么您就可以做到这一点。例如：（

var r= new RegExp(
    '[A-Za-z0-9_\]+|'+                             // ASCII letters (no accents)
    '[\u3040-\u309F]+|'+                           // Hiragana
    '[\u30A0-\u30FF]+|'+                           // Katakana
    '[\u4E00-\u9FFF\uF900-\uFAFF\u3400-\u4DBF]',   // Single CJK ideographs
'g');

var nwords= str.match(r).length;

这试图为日语提供更真实的“单词”计数，将一种假名的每次运行都计为一个单词。当然，这仍然不对，但它可能比将每个音节视为一个单词更接近.)

显然，如果您想“正确执行”，则必须考虑更多字符。首先，我们希望您没有超出基本多语言平面之外的字符！

Answer 2

您可以迭代文本中的每个字符，检查每个字符以查找断词。以下示例执行此操作，将每个中文/日语/韩语 (CJK) 表意文字计为单个单词，并将所有字母数字字符串视为单个单词。

关于我的实现的一些注释：

1. 它可能无法正确处理重音字符。它们可能会触发断词。您可以修改 wordBreakRegEx 来解决此问题。

2. cjkRegEx 不包含一些更深奥的代码点范围，因为它们需要 5 个十六进制数字来引用，而 JavaScript 的正则表达式引擎似乎不允许您这样做。但您可能不需要担心这些，因为我什至认为大多数字体都不包含它们。

3. 我故意将日语平假名和片假名排除在 cjkRegEx 之外，因为我不确定您想要如何处理这些内容。根据您正在处理的文本类型，将它们的字符串视为单个单词可能更有意义。在这种情况下，您需要添加逻辑来识别“假名单词”与“字母数字单词”。如果您不在乎，那么您只需将它们的代码点范围添加到 cjkRegEx 中即可。当然，您可以尝试识别假名字符串中的断词，但这很快就会变得非常困难。

示例实现：

function getWordCount(text) {
  // This matches all CJK ideographs.
  var cjkRegEx = /[\u3400-\u4db5\u4e00-\u9fa5\uf900-\ufa2d]/;

  // This matches all characters that "break up" words.
  var wordBreakRegEx = /\W/;

  var wordCount = 0;
  var inWord = false;
  var length = text.length;
  for (var i = 0; i < length; i++) {
    var curChar = text.charAt(i);
    if (cjkRegEx.test(curChar)) {
      // Character is a CJK ideograph.
      // Count it as a word.
      wordCount += inWord ? 2 : 1;
      inWord = false;
    } else if (wordBreakRegEx.test(curChar)) {
      // Character is a "word-breaking" character.
      // If a word was started, increment the word count.
      if (inWord) {
        wordCount += 1;
        inWord = false;
    } else {
      // All other characters are "word" characters.
      // Indicate that a word has begun.
      inWord = true;
    }
  }

  // If the text ended while in a word, make sure to count it.
  if (inWord) {
    wordCount += 1;
  }

  return wordCount;
}

Unihan 数据库对于学习 unicode 中的 CJK 非常有帮助。当然，Unicode 主页也有大量信息。

Answer 3

我认为你想循环所有字符，并在每次当前字符与前一个字符处于不同的单词（根据你的定义）时增加一个计数器。