为 Perl/Mason i18n 进行字符串提取的自动化方法？

Question

我目前正在作为一个团队致力于国际化一个非常大的 Perl/Mason Web 应用程序（这是否意味着这是一场死亡行军？？）。该应用程序已有近 20 年的历史，并且是用相对老式的 Perl 风格编写的；它不使用 Moose 或其他 OO 模块。我目前计划使用 Locale::Maketext::Gettext 进行消息查找，并使用 GNU Gettext 目录文件。

我一直在尝试开发一些工具来帮助从我们的 bigass 代码库中提取字符串。目前，我拥有的只是一个相对简单的 Perl 脚本，用于解析源代码以查找字符串文字，提示用户一些上下文以及是否应将字符串标记为翻译，如果是，则标记它。

与我可以忽略的字符串相比，我需要标记的字符串有太多噪音。源代码中的许多字符串不是面向用户的，例如散列键或像

if (ref($db_obj) eq 'A::Type::Of::Db::Module')

我 这样的类型比较确实对每个建议的字符串应用一些启发式方法，看看我是否可以立即忽略它（例如，我忽略用于哈希查找的字符串，因为在我们的代码库中 99% 的时间这些字符串不是面向用户的）。然而，尽管如此，我的程序向我显示的大约 90% 的字符串都是我不关心的。

有没有更好的方法可以帮助我自动化字符串提取任务（即比从源中获取每个字符串文字更智能的方法）？是否有任何商业程序可以执行此操作，可以同时处理 Perl 和 Mason 源代码？

另外，我有一个（相当愚蠢的）关于高级工具的想法，我将其工作流程放在下面。是否值得付出努力来实现这样的事情（这可能会很快完成 80% 的工作），或者我应该接受一个艰巨、烦人的手动字符串提取过程？

1. 首先从源中提取每个字符串文字，并将其放入 Gettext PO 文件中。
2. 然后，编写一个 Mason 插件来解析应用程序所提供的每个页面的 HTML，目的是记录用户所看到的字符串。
3. 使用应用程序并尝试覆盖所有用例，建立面向用户的字符串存储。
4. 给定用户看到的字符串存储，对目录文件中的字符串进行模糊匹配，并跟踪与 UI 匹配的目录条目。
5. 最后，目录文件中未匹配的任何内容都可能不会面向用户，因此请从目录中删除它们。

Answer 1

据我所知，没有 Perl 工具能够智能地提取可能需要国际化的字符串和不需要国际化的字符串。您应该在编写代码时在代码中标记它们，但正如您所说，这还没有完成。

您可以使用 PPI 智能地进行字符串提取。

#!/usr/bin/env perl

use strict;
use warnings;

use Carp;
use PPI;

my $doc = PPI::Document->new(shift);

# See PPI::Node for docs on find
my $strings = $doc->find(sub {
    my($top, $element) = @_;
    print ref $element, "\n";

    # Look for any quoted string or here doc.
    # Does not pick up unquoted hash keys.
    return $element->isa("PPI::Token::Quote")   ||
           $element->isa("PPI::Token::HereDoc");
});

# Display the content and location.
for my $string (@$strings) {
    my($line, $row, $col) = @{ $string->location };
    print  "Found string at line $line starting at character $col.\n";
    printf "String content: '%s'\n", string_content($string);
}


# *sigh* PPI::Token::HereDoc doesn't have a string method
sub string_content {
    my $string = shift;
    return $string->isa("PPI::Token::Quote")   ? $string->string :
           $string->isa("PPI::Token::HereDoc") ? $string->heredoc :
           croak "$string is neither a here-doc nor a quote";
}

您可以对字符串周围的标记进行更复杂的检查，以确定它是否重要。请参阅 PPI::Element 和 PPI::Node 了解更多详细信息。或者您可以检查字符串的内容以确定它是否重要。

我不能说得更远，因为“重要”取决于你。

Answer 2

我们的源代码搜索引擎通常用于有效地搜索大型代码库，使用从<构建的索引它所知道的语言的 em>lexemes。该语言列表相当广泛，包括 Java、C#、COBOL 和……Perl。词位提取器是语言精确的（因为它们是从我们的 DMS 软件重新工程工具包，一种与语言无关的程序转换系统，其中精度是基础）。

给定一个索引代码库，然后可以输入查询来查找任意的词位序列，而不管特定于语言的空白；人们可以记录此类查询的点击次数及其位置。

极短的查询：

S

搜索引擎查找所有被分类为字符串的词汇元素（关键字、变量名、注释都被忽略；只是字符串！）。 （通常人们会使用正则表达式约束编写更复杂的查询，例如 S=*Hello 来查找以“Hello”结尾的字符串）

这里的相关性是源代码搜索引擎对 Perl 中字符串的词法语法有精确的了解（包括特别是内插字符串的元素和所有古怪的转义序列）。所以上面的查询将找到 Perl 中的所有字符串；登录后，您会记录所有字符串及其位置。

这个特技实际上适用于搜索引擎理解的任何语言，因此它是为此类国际化任务提取字符串的相当通用的方法。