如何在 ruby​​ 中逐行读取文本文件（将其托管在 s3 上）？

Question

我知道我以前已经这样做过，并找到了一组简单的代码，但我不记得或找不到它:(。

我有一个记录文本文件，我想导入到我的 Rails 3 应用程序中。

每一行代表一条记录。可能它可能是属性的制表符分隔，但也可以只使用单个值，

我该如何做到这一点？

Answer 1

File.open("my/file/path", "r").each_line do |line|
  # name: "Angela"    job: "Writer"    ...
  data = line.split(/\t/)
  name, job = data.map{|d| d.split(": ")[1] }.flatten
end

相关主题

在 Ruby 中读取文件的所有常见方法有哪些？

Answer 2

您想要 IO.foreach：

IO.foreach('foo.txt') do |line|
  # process the line of text here
end

或者，如果它确实是制表符分隔的，您可能需要使用 CSV 库：

File.open('foo.txt') do |f|
  CSV.foreach(f, col_sep:"\t") do |csv_row|
    # All parsed for you
  end
end

Answer 3

  IO.foreach("input.txt") do |line| 
    out.puts line
    # You might be able to use split or something to get attributes
    atts = line.split
  end

Answer 4

您是否尝试过使用 OpenURI (http://ruby-doc.org/stdlib-2.1.2/libdoc/open-uri/rdoc/OpenURI.html）？您必须使您的文件能够从 S3 访问。

或者尝试使用 de aws-sdk gem (http://aws.amazon .com/sdk-for-ruby）。

Answer 5

您可以使用 OpenURI 读取远程或本地文件。

假设您的模型有一个名为 file 的附件：

# If object is stored in amazon S3, access it through url
file_path = record.file.respond_to?(:s3_object) ? record.file.url : record.file.path
open(file_path) do |file|
  file.each_line do |line|
    # In your case, you can split items using tabs
    line.split("\t").each do |item|
      # Process item
    end
  end
end