Twitter 文本压缩挑战

Question

规则

1. 您的程序必须有两种模式：编码和解码。

2. 当编码时：

   1. 您的程序必须将一些人类可读的 Latin1 文本（大概是英语）作为输入。
      • 忽略标点符号也没关系。
      • 您只需要担心实际的英语单词，而不是 L337。
      • 任何带重音的字母都可以转换为简单的 ASCII。
      • 您可以选择处理数字的方式。
      • 123
        • 一二三
        • 一百二十三
        • 123
        • 1 2 3
      • 一百二十三
        • 一二三
        • 一百二十三
        • 123
        • 1 2 3

   2. 您的程序必须输出一条可以用以下形式表示的消息

      • U+0000–U+10FFFF范围内有 140 个代码点

        排除非字符：

        • U+FFFE
        • U+FFFF
        • U+nFFFE、U+nFFFF，其中 n 为 1–10十六进制
        • U+FDD0–U+FDEF
        • U+D800–U+DFFF（代理代码点）。

   它可以以您选择的任何合理的编码输出； GNU iconv 支持的任何编码都将被视为合理， 并且您的平台本机编码或区域设置编码可能是一个不错的选择。

3. 当解码时：

   1. 您的程序应将编码模式的输出作为输入。
   2. 文本输出应该是输入文本的近似值。
      • 越接近原文越好。
      • 不需要任何标点符号。

   3. 输出文本应该是人类可读的，同样是英语。

      • 可以是 L337，或者哈哈。
   4. 解码过程可能无法访问编码过程的任何其他输出 除了上面指定的输出之外； 也就是说，你不能将文本上传到某处并输出 URL 用于下载解码过程，或类似的愚蠢的事情。
4. 为了用户界面的一致性，您的程序必须表现如下：
   1. 您的程序必须是一个可以设置为在具有适当解释器的平台上可执行的脚本， 或可以编译为可执行文件的程序。
   2. 您的程序必须将encode 或decode 作为其第一个参数来设置模式。
   3. 您的程序必须至少通过以下方式之一获取输入：
      • 从标准输入获取输入并在标准输出上生成输出。
        • 我的程序编码output.utf
        • 我的程序解码output.txt
      • 从第二个参数中指定的文件中获取输入，并在第三个参数中指定的文件中生成输出。
        • 我的程序编码输入.txt 输出.utf
        • 我的程序解码output.utf output.txt
5. 对于您的解决方案，请发布：
   1. 您的完整代码和/或其他地方托管的代码链接 （如果它很长，或者需要编译很多文件，或者其他什么）。
   2. 解释它是如何工作的（如果从代码中看不出来） 或者如果代码很长并且人们会对摘要感兴趣。
   3. 示例文本，包含原始文本、压缩后的文本以及解码后的文本。
   4. 如果您的想法是基于别人的想法，请注明出处。 尝试改进别人的想法是可以的，但你必须归因于他们。

这些规则是 Twitter 图像编码挑战规则的变体。

Answer 1

不确定我是否有时间/精力用实际代码来跟进，但这是我的想法：

• 任何特定长度下的任意 LATIN 1 字符串都可以简单地编码（甚至压缩）没有丢失 140 个字符。 天真的估计是 280 个字符，尽管由于比赛规则中的代码点限制，它可能比这个短一点。
• 比上述长度稍长的字符串（让我们估计在 280 到 500 个字符之间）很可能可以使用标准压缩技术缩小为足够短的字符串以允许上述编码。

如果超过这个长度，我们就会开始丢失文本中的信息。 因此，执行以下最少数量的步骤，将字符串减少到可以使用上述方法进行压缩/编码的长度。 另外，如果仅在子字符串上执行这些替换将使字符串足够短（我可能会向后遍历字符串），则不要对整个字符串执行这些替换。

1. 将 127 以上的所有 LATIN 1 字符（主要是重音字母和时髦符号）替换为最接近的非重音字母字符，或者可能使用通用符号替换（如“#”）
2. 将所有大写字母替换为其等效的小写形式
3. 替换所有非重音字母字母数字（任何剩余的符号或标点符号）带有空格
4. 将所有数字替换为 0

好的，现在我们已经消除了尽可能多的多余字符。 现在我们要做一些更戏剧性的减少：

5. 用单个字母（balon）替换所有双字母（balloon）。 看起来很奇怪，但仍然希望读者能够理解。
6. 将其他常见字母组合替换为较短的等效字母（CK 替换为 K，WR 替换为 R 等）

好的，这就是我们可以做到的让文本可读的程度。 除此之外，让我们看看是否可以想出一种方法，使文本类似于原始文本，即使它最终无法可解读（再次执行此操作）从字符串末尾开始一次一个字符，当足够短时停止）：

7. 将所有元音 (aeiouy) 替换为 a
8. 将所有“高”字母 (bdfhklt) 替换为 l
9. 将所有“短”字母 (cmnrsvwxz) 替换为 n
10. 将所有“悬挂”字母 (gjpq) 替换为 p

这应该会留下一个由 5 个可能值（a、l、n、p 和空格）组成的字符串，这应该允许我们编码相当长的字符串。

除此之外，我们只需要截断即可。

我能想到的唯一其他技术是对常见单词或字母组进行基于字典的编码。 这可能会给我们一些正确句子的好处，但可能不会给任意字符串带来好处。

Answer 2

这是我的实际英语变体。

每个代码点都有大约 1100000 种可能的状态。 嗯，空间很大。

因此，我们对所有原始文本进行词干并从中获取 Wordnet 同义词集。 数字被转换成英文名称（“四十二”）。 1,1M 个状态将允许我们保存 synset id（可以在 0 到 82114 之间）、synset 内的位置（我想大概有 10 个变体）和 synset 类型（这是四种类型之一 - 名词、动词、形容词、副词） 。 我们甚至可能有足够的空间来存储单词的原始形式（例如动词时态 ID）。

解码器只是将同义词集提供给 Wordnet 并检索相应的单词。

源文本：

A white dwarf is a small star composed mostly of electron-degenerate matter. Because a
white dwarf's mass is comparable to that of the Sun and its volume is comparable to that 
of the Earth, it is very dense.

变为：（

A white dwarf be small star composed mostly electron degenerate matter because white
dwarf mass be comparable sun IT volume be comparable earth IT be very dense

使用 Online Wordnet 测试）。 这个“代码”应该有 27 个代码点。
当然，所有像“lol”和“L33T”这样的“胡言乱语”都将永远丢失。

Answer 3

PAQ8O10T《》 FTW

Answer 4

这是一个简单的示例，它采用输入文件并删除所有非单词字符。

#! perl
use strict;
use warnings;
use 5.010;


use Getopt::Long;
use Pod::Usage;
use autodie;

my %opts = (
  infile  => '-',
  outfile => '-',
);
GetOptions (
  'encode|e'    => \$opts{encode},
  'decode|d'    => \$opts{decode},
  'infile|i=s'  => \$opts{infile},
  'outfile|o=s' => \$opts{outfile},
  'help|h'      => \&help,
  'man|m'       => \&man,
);

unless(
  # exactly one of these should be set
  $opts{encode} xor $opts{decode}
){
  help();
}


{
  my $infile;
  if( $opts{infile} ~~ ['-', '&0'] ){
    $infile = *STDIN{IO};
  }else{
    open $infile, '<', $opts{infile};
  }

  my $outfile;
  if( $opts{outfile} ~~ ['-', '&1'] ){
    $outfile = *STDOUT{IO};
  }elsif( $opts{outfile} ~~ '&2' ){
    $outfile = *STDERR{IO};
  }else{
    open $outfile, '>', $opts{outfile};
  }

  if( $opts{decode} ){
    while( my $line = <$infile> ){
      chomp $line;

      say {$outfile} $line;
    }
  }elsif( $opts{encode} ){
    while( my $line = <$infile> ){
      chomp $line;

      $line =~ s/[\W_]+/ /g;

      say {$outfile} $line;
    }
  }else{
    die 'How did I get here?';
  }
}

sub help{
  pod2usage();
}
sub man{
  pod2usage(1);
}
__END__

=head1 NAME

sample.pl - Using GetOpt::Long and Pod::Usage

=head1 SYNOPSIS

sample.pl [options] [file ...]

 Options:
   --help     -h      brief help message
   --man      -m      full documentation
   --encode   -e      encode text
   --decode   -d      decode text
   --infile   -i      input  filename
   --outfile  -o      output filename

=head1 OPTIONS

=over 8

=item B<--help>

Print a brief help message and exits.

=item B<--man>

Prints the manual page and exits.

=item B<--encode>

Removes any character other than /\w/.

=item B<--decode>

Just reads from one file, and writes to the other.

=item B<--infile>

Input filename. If this is '-' or '&0', then read from STDIN instead.
If you use '&0', you must pass it in with quotes.

=item B<--outfile>

Output filename. If this is '-' or '&1', then write to STDOUT instead.
If this is '&2', then write to STDERR instead.
If you use '&1' or '&2', you must pass it in with quotes.

=back

=head1 DESCRIPTION

B<This program> will read the given input file(s) and do something
useful with the contents thereof.

=cut

echo Hello, this is, some text | perl sample.pl -e
Hello this is some text