Python WWW 宏

Question

我需要类似 iMacros for Python 的东西。如果有这样的事情那就太好了：

browse_to('www.google.com')
type_in_input('search', 'query')
click_button('search')
list = get_all('<p>')

你知道这样的事情吗？

提前致谢， 埃塔姆。

Answer 1

几乎直接实现了问题中的愿望 - twill。

twill 是一种简单的语言，允许用户从命令行界面浏览 Web。使用 twill，您可以浏览使用表​​单、cookie 和大多数标准 Web 功能的网站。

twill 支持自动化 Web 测试并具有简单的 Python 界面。

（为了方便起见，twill 中包含了 pyparsing、mechanize 和 BeautifulSoup。）

Python API 示例：

from twill.commands import go, showforms, formclear, fv, submit

go('http://issola.caltech.edu/~t/qwsgi/qwsgi-demo.cgi/')
go('./widgets')
showforms()

formclear('1')
fv("1", "name", "test")
fv("1", "password", "testpass")
fv("1", "confirm", "yes")
showforms()

submit('0')

Answer 2

使用机械化。除了在页面中执行 JavaScript 之外，它还不错。

Answer 3

另一件需要考虑的事情是编写自己的脚本。一旦你掌握了它的窍门，它实际上并不太难，并且如果不调用六个巨大的库，它甚至可能会更快（但我不确定）。我使用名为“Charles”的网络调试器来浏览我想要抓取的网站。它记录所有传出/传入的 http 通信，我使用这些记录对查询字符串进行逆向工程。在 python 中操作它们可以实现相当快速、灵活的抓取。