gsub :: ArgumentError（UTF-8 中的字节序列无效）

Question

此代码使用 Hpricot gem 获取包含 UTF-8 字符的 HTML。

# <div>This is a test<a href="">测试</a></div>
div[0].to_html.gsub(/test/, "")

当运行时，它会输出此错误（指向 gsub）：

ArgumentError (invalid byte sequence in UTF-8)

我们如何解决此问题？

Answer 1

弄清楚了问题。 Hpricot 的 to_html 调用触发错误的方法，因此为了消除错误，我们需要将 Hpricot 文档编码为 UTF-8，而不仅仅是那个字符串。我们这样做：

ic = Iconv.new("UTF-8//IGNORE", "UTF-8")
doc = open("http://example.com") {|f| Hpricot(ic.iconv(f.read)) }

然后我们可以调用其他 Hpricot 方法，但现在整个文档都有 UTF-8 编码，并且不会给我们任何错误。

Answer 2

在这种情况下，to_html 看起来返回一个非 utf8 字符串。

我对包含一些非 utf8 字符的文件有同样的问题。我发现的修复方法并不是很漂亮，但它也适用于您的情况：

the_utf8_string = the_non_utf8_string.unpack('C*').pack('U*')

小心，我不确定是否没有任何数据丢失。