无法使用 JRuby & 正确将 CSV（中文 UTF-8）文件导入数据库“CSV”

Question

使用jruby 1.6.4 (ruby-1.9.2-p136)

CSV 文件采用UTF-8 编码。 使用 TextMate 正常显示内容。

尝试这个，但我得到的只是插入到数据库中的乱码文本。

CSV.foreach(data_file_path, :headers=>false, :encoding=>"UTF-8", :col_sep=>"^") do |row|
    # parse and write to DB
end

一些irb信息：

irb(main):001:0> puts "你好"
你好
=> nil
irb(main):002:0> puts RUBY_VERSION
1.9.2
=> nil
irb(main):003:0>

这些工作：

jruby -e 'puts "你好"'
jruby --1.9 -e 'puts "你好"'
jruby -Ku -e 'puts "你好"'

使用相同的设置，我设法将土耳其字符插入数据库。所以，这个问题不像 Ruby 到 DB 的写入问题。

我怀疑问题出在 CSV 库上，它是 Ruby 自 v1.9.2 以来的一部分（它曾经是一个名为 fastCSV 的外部库），因为我可以在读取文件后将文件输出到控制台。

我还尝试在代码段的顶部插入 #encoding:utf-8 。

Answer 1

当 CSV 包含 unicode 字符时，“CSV.foreach”（Jruby 1.6.4 和 1.6.5）中存在 unicode 编码问题。作为解决方法，您可以使用“CSV.open”而不是“CSV.foreach”。

reader = CSV.open(file, "r")
reader.each do |row|
    # do something 
end

这个 bug 已被报告并且似乎在 Jruby 1.7 中得到了解决
http://jira.codehaus.org/browse/JRUBY-6266