Groovy htmlunit getFirstByXPath 返回 null + OCR问题

Question

我最近在 HtmlUnit 返回空值方面遇到了一些问题，正在寻求指导。我抓取网站第一行的每个结果都返回 null。我想知道是否有人可以

A) 解释为什么他们可能会返回 null

B) 解释更好的方法（如果有的话）来获取信息

这是我当前的代码（URL 在源代码中）：

client = new WebClient(BrowserVersion.FIREFOX_3)
client.javaScriptEnabled = false

def url = "http://www.hidemyass.com/proxy-list/"

page = client.getPage(url)

IpAddress = page.getFirstByXPath("//html/body/div/div/form/table/tbody/tr/td[2]").getValue()
println "IP Address is: $data"          //returns null

//Port_Number is an Image

Country = page.getFirstByXPath("//html/body/div/div/form/table/tbody/tr/td[4][@class='country']/@rel").getValue()
println "Country abbreviation is: $Country"

//differentiate speed and connection by name of gif?

Type = page.getFirstByXPath("//html/body/div/div/form/table/tbody/tr/td[7]").getValue()
println "Proxy type is: $Type"

Anonymity = page.getFirstByXPath("//html/body/div/div/form/table/tbody/tr/td[8]").getValue()
println "Anonymity Level is: $Anonymity"

client.closeAllWindows()

现在我所有的 XPath 都返回 null，并且 .getValue() 显然不适用于 null。

我也有疑问，由于 PORT 是图像，所以我应该对它做什么？有没有比下载它并尝试通过 OCR 解决它更好的替代方案？

旁注

这个网站没有任何意义，我只是在寻找一个可以练习抓取的网站（我遇到的最后一个片段身份问题，无法得到答案：HtmlUnit getByXpath returns null 和 HtmlUnit 和片段标识）

Answer 1

您的 xpath 查询似乎不正确。根据代码示例中提供的 url，应从搜索路径中删除表单元素。

这是一个 xpath 查询，当页面布局更改时，该查询不太容易中断。

//table[@id='proxylist-table']/tbody/tr/td[2]

就端口号而言，该页面的作者一定希望这部分数据不会因某种原因被抓取。进行 OCR 可能是您的最佳选择。

但是，您可以做的一件事是查看返回的图像的大小以猜测端口号。例如，我注意到显示端口 80 的图像的内容长度均为 406 或 411。端口 8080 的内容长度为 402 或 409。图像有两种不同的大小可与行颜色混合。如果 Url 以 1 结尾，则其背景为白色；如果以 0 结尾，则其背景为浅灰色，并且始终会大几个字节。这种方法有明显的缺点，但它可能有效。