导出整个 html使用 Watir 转换为文本文档

Question

基本上我想做的就是将整个 html 表导出到 .txt 文件（记事本文档）。

到目前为止我已经学会了如何指示浏览器找到带有表格的html页面。

require 'rubygems' 
require 'hpricot' 
require "watir-webdriver" 
url = "http://www.example.com"
browser = Watir::Browser.new 
browser.goto url

在 cmd 中运行上述命令后，我现在可以在浏览器中看到 html 表。

这就是我被困住的地方。如何使用 Watir

1. 查找标签
2. 收集 和 中的所有内容（即 html 和文本）。
3. 将这些结果提取到 .txt 文件（记事本文档）并将其保存在特定文件夹中。

仅供参考，html 表格看起来像这样......

<table border="1" cellpadding="2">
<tr>
<th> Address </th>
<th> Council tax band </th>
<th> Annual council tax </th>
</tr>

<tr>
<td> 2, STONELEIGH AVENUE, COVENTRY, CV5 6BZ </td>
<td align="center"> F </td>
<td align="center"> &pound;2125 </td>
</tr>

....... 上面的行重复了很多次......

</table> 

然后表格被关闭。

所以回顾一下我的情况。我可以使用 Watir 将浏览器导航到包含 html 表的页面，但我的问题是我不确定如何将结果（标签内的所有内容 - 包括 html）提取到 .txt 文件，然后保存该 .txt文件到我的电脑上。

我更愿意使用 Watir 采取更小的步骤。我知道这一点，因此我只想学习如何提取表并将我提取的所有内容保存到 .txt 文件中。我在网上看到了几个使用 hpricot 的例子。然而，大多数示例似乎错过了详细说明如何将数组（如果这是正确的方法）输出到 .txt 文件中的代码。

您能否帮忙演示如何编写一段简单的代码，将 html 表（以及所有内容，包括 和 之间的所有内容）提取到 .txt 记事本文件中？

非常感谢您抽出时间。

Answer 1

要获取整个表格的 HTML（如果它是页面上唯一的表格）：

browser.table.html

您将得到如下内容：

=> "<table border=\"1\" cellpadding=\"2\">\n<tbody><tr>\n<th> Address </th>\n<th> Council tax band </th>\n<th> Annual council tax </th>\n</tr>\n\n<tr>\n<td> 2, STONELEIGH AVENUE, COVENTRY, CV5 6BZ </td>\n<td align=\"center\"> F </td>\n<td align=\"center\"> £2125 </td>\n</tr>\n\n</tbody></table>"

要获取每行的 HTML 并将其放入数组中：

browser.table.trs.collect {|tr| tr.html}

=> ["<tr>\n<th> Address </th>\n<th> Council tax band </th>\n<th> Annual council tax </th>\n</tr>",
    "<tr>\n<td> 2, STONELEIGH AVENUE, COVENTRY, CV5 6BZ </td>\n<td align=\"center\"> F </td>\n<td align=\"center\"> £2125 </td>\n</tr>"] 

要获取每个单元格的文本并将其放入数组中数组：

browser.table.trs.collect {|tr| [tr[0].text, tr[1].text, tr[2].text]}
=> [["Address", "Council tax band", "Annual council tax"],
    ["2, STONELEIGH AVENUE, COVENTRY, CV5 6BZ", "F", "£2125"]] 

将每个单元格的文本写入文件：

content = b.table.trs.collect {|tr| [tr[0].text, tr[1].text, tr[2].text]}
File.open("table.txt", "w") {|file| file.puts content}

该文件将如下所示：

Address
Council tax band
Annual council tax
2, STONELEIGH AVENUE, COVENTRY, CV5 6BZ
F
£2125

Answer 2

有很多方法可以解决这个问题，如果我们更多地了解您具体想要实现的目标，那么我们可以为您提供更具体而不是笼统的答案。

如果您想将内容转换为数组，您可以使用 .collect，如 Zeljko 所示。如果您只想处理数据或迭代表中的行和单元格，那么 .each 或 .each_with_index 可能就是您想要的。

我怀疑您确实想要表格中的文本，而不是 HTML。因此，这里有一些可以尝试的东西（未经测试，但应该可以工作）

browser.table(:how => what).rows.each_with_index do |row, r|
  row.cells.each_with_index do |cell, c|
    puts "Row:#{r} Cell:#{c} text is: #{cell.text}"
  end
end

如果 .rows 或 .cells 在上面不起作用（未知方法），请尝试用 替换。 trs
和 .tds 分别（并非所有版本的 watir 都有友好的
这些方法的别名）

看看是否会吐出您感兴趣的内容。如果是这样，您应该能够轻松修改以将所需内容写入文件，而不是将其显示到屏幕上。

但是，如果验证是您的目标，那么让自动化代码在数据库中查找内容并为您进行比较可能会更容易。