让 htmlParse 与希伯来语一起工作？

Question

我希望 htmlParse 能够很好地处理希伯来语，但它不断地扰乱我输入的页面中的希伯来语文本。

例如：

# why can't I parse the Hebrew correctly?
library(RCurl)
library(XML)
u = "http://humus101.com/?p=2737"
a = getURL(u) 
a # Here - the hebrew is fine.
a2 <- htmlParse(a)
a2 # Here it is a mess...

这些似乎都不能修复它：

htmlParse(a, encoding = "utf-8")
htmlParse(a, encoding = "iso8859-8")

这是我的语言环境：

> Sys.getlocale()
[1] "LC_COLLATE=Hebrew_Israel.1255;LC_CTYPE=Hebrew_Israel.1255;LC_MONETARY=Hebrew_Israel.1255;LC_NUMERIC=C;LC_TIME=Hebrew_Israel.1255"
> 

有什么建议吗？

Answer 1

在对 getURL 和 htmlParse 的调用中指定 UTF-8 结尾。

a <- getURL(u, .encoding = "UTF-8")
htmlParse(a, encoding = "UTF-8")

---

这些区域设置问题总是很难弄清楚。当我输入 cat(a) 时（在 getURL 中指定 UTF-8 编码后），我看到 he.wrodpress.org 页面声称是 UTF-8：，但是希伯来语位是 UTF-16。也就是说，它们看起来像 。因此，这可能是由该网页的混合编码引起的问题。

比较几种编码，唯一在我的机器上不会产生乱码的编码是 UTF-8。

(trees <- lapply(c("UTF-8", "UTF-16", "latin1"), function(enc)
{
  a <- getURL(u, .opts = proxy_opts, .encoding = enc)
  htmlParse(a, encoding = enc)
}))

如果它变得绝望，请在上面的代码中传递 iconvlist() 来 lapply，并查看是否有任何可能的条件适合您。