在 Ruby 中解析制表符分隔文件的最佳方法是什么？

Question

在 Ruby 中解析制表符分隔文件的最佳（最有效）方法是什么？

Answer 1

Ruby CSV 库允许您指定字段分隔符。 Ruby 1.9 使用 FasterCSV。像这样的事情会起作用：

require "csv"
parsed_file = CSV.read("path-to-file.csv", col_sep: "\t")

Answer 2

TSV 的规则实际上与 CSV 有点不同。主要区别在于 CSV 规定在字段内粘贴逗号，然后在字段内使用引号字符和转义引号。我写了一个简单的示例来展示简单响应如何失败：

require 'csv'
line = 'boogie\ttime\tis "now"'
begin
  line = CSV.parse_line(line, col_sep: "\t")
  puts "parsed correctly"
rescue CSV::MalformedCSVError
  puts "failed to parse line"
end

begin
  line = CSV.parse_line(line, col_sep: "\t", quote_char: "Ƃ")
  puts "parsed correctly with random quote char"
rescue CSV::MalformedCSVError
  puts "failed to parse line with random quote char"
end

#Output:
# failed to parse line
# parsed correctly with random quote char

如果您想使用 CSV 库，您可以使用一个随机引号字符，您不希望在您的文件中看到该字符（示例显示了这一点），但您也可以使用更简单的方法（如下面所示的 StrictTsv 类）可以获得相同的效果，而不必担心字段引用。

# The main parse method is mostly borrowed from a tweet by @JEG2
class StrictTsv
  attr_reader :filepath
  def initialize(filepath)
    @filepath = filepath
  end

  def parse
    open(filepath) do |f|
      headers = f.gets.strip.split("\t")
      f.each do |line|
        fields = Hash[headers.zip(line.split("\t"))]
        yield fields
      end
    end
  end
end

# Example Usage
tsv = Vendor::StrictTsv.new("your_file.tsv")
tsv.parse do |row|
  puts row['named field']
end

选择使用 CSV 库或更严格的库仅取决于向您发送文件的人以及他们是否希望遵守严格的 TSV 标准。

有关 TSV 标准的详细信息，请访问 http://en.wikipedia.org/wiki/Tab-separated_values

Answer 3

实际上有两种不同类型的 TSV 文件。

1. TSV 文件实际上是 CSV 文件，分隔符设置为 Tab。例如，当您将 Excel 电子表格另存为“UTF-16 Unicode 文本”时，您会得到此信息。此类文件使用 CSV 引用规则，这意味着字段可以包含制表符和换行符，只要它们被引用即可，并且文字双引号会被写入两次。正确解析所有内容的最简单方法是使用 csv gem：

   使用“csv”
   parsed = CSV.read("file.tsv", col_sep: "\t")
   

2. 符合 IANA 标准。不允许使用制表符和换行符作为字段值，并且不存在任何引用。例如，当您选择整个 Excel 电子表格并将其粘贴到文本文件中时，您会得到这样的结果（注意：如果某些单元格确实包含制表符或换行符，则会出现混乱）。可以使用简单的 line.rstrip.split("\t", -1) 轻松地逐行解析此类 TSV 文件（注意 -1，这会阻止split 删除空尾随字段）。如果您想使用 csv gem，只需将 quote_char 设置为 nil：

   使用“csv”
   parsed = CSV.read("file.tsv", col_sep: "\t", quote_char: nil)
   

Answer 4

我喜欢 mmmries 的回答。然而，我讨厌 ruby​​ 从分割末尾去除任何空值的方式。它也不会删除行末尾的换行符。

另外，我有一个文件，其中一个字段内可能有换行符。因此，我重写了他的“解析”，如下所示：

def parse
  open(filepath) do |f|
    headers = f.gets.strip.split("\t")
    f.each do |line|
      myline=line
      while myline.scan(/\t/).count != headers.count-1
        myline+=f.gets
      end
      fields = Hash[headers.zip(myline.chomp.split("\t",headers.count))]
      yield fields
    end
  end
end

这会根据需要连接任何行以获得完整的数据行，并且始终返回完整的数据集（最后没有潜在的零条目）。