基于大量信息的案件监控流程

Question

我目前正在对大量文本进行操作（一个文件中约 290MB 的纯文本）。将其导入 Mathematica 8 后，我目前正在开始将其分解为小写单词等操作，以便我可以开始文本分析。

问题是这些过程需要很长时间。有没有办法通过 Mathematica 监控这些操作？对于变量的操作，我使用了 ProgressIndicator 等。但这是不同的。我搜索文档和 StackOverflow 没有发现任何类似的东西。

下面，我想监控 Cases[ ] 命令的进程：

input=Import["/users/USER/alltext.txt"];
wordList=Cases[StringSplit[ToLowerCase[input],Except[WordCharacter]],Except[""]];

Answer 1

像 StringCases[ToLowerCase[input], WordCharacter..] 之类的东西似乎更快一些。我可能会使用 DeleteCases[expr, ""] 而不是 Cases[expr, except[""]]。

Answer 2

通过将“计数器”操作注入到正在匹配的模式中，可以查看 StringSplit 和 Cases 操作的进度。下面的代码临时显示了两个进度条：第一个显示了StringSplit处理的字符数，第二个显示了Cases处理的单词数：

input = ExampleData[{"Text", "PrideAndPrejudice"}];

wordList =
  Module[{charCount = 0, wordCount = 0, allWords}
  , PrintTemporary[
      Row[
        { "Characters: "
        , ProgressIndicator[Dynamic[charCount], {0, StringLength@input}]
        }]]

  ; allWords = StringSplit[
        ToLowerCase[input]
      , (_ /; (++charCount; False)) | Except[WordCharacter]
      ]

  ; PrintTemporary[
      Row[
        { "Words:      "
        , ProgressIndicator[Dynamic[wordCount], {0, Length@allWords}]
        }]]

  ; Cases[allWords, (_ /; (++wordCount; False)) | Except[""]]

  ]

技术的关键两种情况下使用的模式都与通配符 _ 匹配。然而，该通配符受到一个总是失败的条件的保护——但直到它作为副作用增加了一个计数器。然后处理“真实”匹配条件作为替代。

Answer 3

这在一定程度上取决于您的文本的外观，但您可以尝试将文本拆分为块并迭代这些块。然后，您可以使用 Monitor 监视迭代器以查看进度。例如，如果您的文本由以换行符结尾的文本行组成，您可以

Module[{list, t = 0},
 list = ReadList["/users/USER/alltext.txt", "String"];
 Monitor[wordlist = 
   Flatten@Table[
     StringCases[ToLowerCase[list[[t]]], WordCharacter ..], 
      {t, Length[list]}], 
  Labeled[ProgressIndicator[t/Length[list]], N@t/Length[list], Right]];
 Print["Ready"]] 

在大约 3 MB 的文件上执行类似的操作，这仅比 Joshua 的建议花费的时间稍长一些。

Answer 4

我不知道 Cases 是如何工作的，但是 List 处理可能非常耗时，特别是在构建 List 时。由于处理后的表达式中存在未知数量的术语，因此 Cases 可能会出现这种情况。因此，我会尝试一些稍微不同的方法：用 Sequence[] 替换“”。例如，此 List

{"5", "6", "7", Sequence[]}

变为

{"5", "6", "7"}.

So, try

bigList /. "" -> Sequence[]

它应该运行得更快，因为它不是从无到有构建一个大型 List。