我应该使用 Yahoo-Pipes 来抓取 div 的内容吗？
给定： 网址 - http://www.contoso.com/search.php? q={param} 返回： -html- --正文- {...} ---div id='foo'- ----div id='第1页'/- ----div id='第2…
适用于 Java、Ruby、Python 的 HTML Agility Pack 或 HTML 屏幕抓取库？
我发现 HTML Agility Pack 对于屏幕抓取网站非常有用且易于使用。 Java、Ruby、Python 中 HTML 屏幕抓取的等效库是什么？…
如何获取域的 URL 列表
Closed. This question is not about programming or software development. It is not currently accepting answers. 这个问题似乎不是关于特定的编…
检测要传递的 URL POST 参数
问题是从 wikimapia.org 屏幕上抓取实体（餐厅名称等）的纬度/经度，并根据纬度/经度限制结果 以下是我的尝试方法： 在 Firefox 中安装实时 HTTP 标头…
正则表达式 flash url
您好，我正在尝试开发一个 C# 程序来抓取网站上 flash 电影的 url，这是我正在尝试解析的代码 flashvars="file=http://cache01-videos02.myspacecdn.c…
如何在 bash/zsh/ksh 中复制期间创建目录？
我经常收到以下消息，例如，当将开发文件复制到主分支时， cp: /Users/Masi/gitHub/shells/zsh/dvorak: No such file or directory cp: /Users/Masi/g…
保存 html 页面 + 更改所有链接以指向正确的位置
你可能知道IE有一个可以保存网页的东西，它会自动下载html文件以及html文件使用的所有图像/css/js文件。 现在有一个问题 - html 文件中的链接没有改变…
将多个 html 文件抓取到 CSV
我正在尝试从硬盘驱动器上的 1200 多个 .htm 文件中删除行。 在我的计算机上，它们位于“file:///home/phi/Data/NHL/pl07-08/PL020001.HTM”。 这些.h…
XULRunner 下的 javascript 服务器失败
我正在尝试调试名为 crowbar 的 DOM 抓取打包。 不管怎样，当我跑步时我得到： 错误：[异常...“组件返回失败代码：0xc1f30001（NS_ERROR_NOT_INITIAL…
如何使用 JavaScript 从 stackoverflow 页面内部获取用户编号？
我正在尝试设置一个页面（如果它是堆栈溢出的一部分）将生成 Stackoverflow Flair Blogger Gadget。…
美丽的汤和 uTidy
我想将 utidy 的结果传递给 Beautiful Soup，ala： page = urllib2.urlopen(url) options = dict(output_xhtml=1,add_xml_decl=0,indent=1,tidy_mark=…
