在 Unix 中使用正则表达式连接两个文件（最好使用 perl）

Question

我有以下两个文件disconnect.txt 和answer.txt：

我

2011-07-08 00:59:06,363 [socketProcessor] DEBUG ProbeEventDetectorIS41Impl:459 - AnalyzedInfo had ActCode = Disconnected from: 40397400012 to:40397400032
2011-07-08 00:59:06,363 [socketProcessor] DEBUG ProbeEventDetectorIS41Impl:459 - AnalyzedInfo had ActCode = Disconnected from: 4035350012 to:40677400032

disconnect.txtanswer.txt

2011-07-08 00:59:40,706 [socketProcessor] DEBUG ProbeEventDetectorIS41Impl:404 - Normal Call Answered, billingid=2301986 from: 40397643433 to:403###34**
2011-07-08 00:59:40,706 [socketProcessor] DEBUG ProbeEventDetectorIS41Impl:404 - Normal Call Answered, billingid=2301986 from: 3455334459 to:1222
2011-07-08 00:59:48,893 [socketProcessor] DEBUG ProbeEventDetectorIS41Impl:404 - Normal Call Answered, billingid=2220158 from: 4035350012 to:40677400032

想根据from: 和to: 字段在这些文件上创建一个联接，并且输出应该与answer.txt 中的匹配字段。例如，在上面的两个文件中，输出将是：

2011-07-08 00:59:48,893 [socketProcessor] DEBUG ProbeEventDetectorIS41Impl:404 - Normal Call Answered, billingid=2220158 from: 4035350012 to:40677400032

我目前正在通过将文件 1 中的每一行与文件 2 中的每一行进行比较来做到这一点，但想知道是否存在有效的方法（这些文件将有数十个）千兆字节）。

谢谢

Answer 1

听起来你有数亿行？

除非文件的排序方式使得 from: 和 to: 的顺序至少模糊地相关，否则这是数据库的工作。

Answer 2

如果文件很大，二次算法将花费一生的时间。

下面是一个 Ruby 脚本，它在answer.txt 中每行仅使用一个哈希表查找：

def key s
  s.split('from:')[1].split('to:').map(&:strip).join('.')
end

h = {}
open 'disconnect.txt', 'r' do |f|
  while s = f.gets
    h[key(s)] = true
  end
end

open 'answered.txt', 'r' do |f|
  while a = f.gets
    puts a if h[key(a)]
  end
end

就像 ysth 所说，这一切取决于disconnect.txt 中的行数。如果这是一个非常大的¹数字，那么您可能无法在内存中容纳所有键，并且您将需要一个数据库。

---

^{1. disconnect.txt 中的行数乘以（大约）64 应小于计算机中的内存量。}

Answer 3

首先，如果文件尚未按“从/到”时间戳排序，则对文件进行排序。 （是的，我知道从/到似乎存储为纪元秒，但这仍然是一个时间戳。）

然后获取排序后的文件并比较每个文件的第一行。

• 如果时间戳相同，则匹配。万岁！在一个或两个文件中前进一行（取决于每个文件中重复时间戳的规则）并再次比较。
• 如果不是，则抓取具有较早时间戳的文件中的下一行并再次比较。

这是比较两个（或更多）排序文件的最快方法，并且它保证不会从磁盘读取任何行超过一次。

如果您的文件未正确排序，那么对于“每个数十 GB”大小范围内的文件，初始排序操作可能会有些昂贵，但是：

1. 您可以将文件拆分为任意大小的块（理想情况下每个块足够小）以适应内存），独立对每个块进行排序，然后将上述算法从两个文件推广到所需的数量。
2. 即使您不这样做，并且您处理了对大于可用内存的文件进行排序所涉及的磁盘抖动，排序然后对每个文件执行一次传递仍然会比任何文件快很多涉及笛卡尔连接的解决方案。

或者您可以只使用前面答案中提到的数据库。在大多数（如果不是全部）情况下，上述方法会更有效，但是基于数据库的解决方案会更容易编写，并且还可以为以其他方式分析数据提供很大的灵活性，而无需进行完整的扫描每次您需要访问每个文件中的任何内容时。