Twitter Python爬虫的爬行机制问题
下面是我的 Twitter 爬虫机制的一小段代码： from BeautifulSoup import BeautifulSoup import re import urllib2 url = 'http://mobile.twitter.com/…
属性错误：“NoneType”对象没有属性“strip”；使用 Python WebCrawler
我正在编写一个 python 程序来使用 urllib2、api 的 python twitter 包装器和 BeautifulSoup 的组合来抓取 twitter。但是，当我运行程序时，出现以下…
Applescript：Safari 无法保存网页（AppleEvent 处理程序失败错误）
我希望 safari 使用 apple automator 下载并保存网页。打开 Safari 窗口，我在 AppleScript 编辑器中运行以下脚本： tell application "Safari" set U…
模拟网络浏览器来包装几个类似网站的功能
我有兴趣用 C++ 模拟 Web 浏览器的功能，以便为多个网站创建包装器。目前，这些网站最大的问题是它们大量使用与 HTML DOM 交互的 JavaScript。因此，…
有哪些好的 Java 库可以用于搜索和从网页中抓取数据。
有哪些好的开源 Java 库可以从网页中搜索和抓取数据并将其粘贴到数据库中。例如，假设我有一个页面，例如： Address: 123 My Street “地址：”是关键…
如何使用 AJAX 测试 Google 的抓取能力？
我已经创建了我的网站，因此 site.com/#!/page/var1/ans1/var2/ans2 使用 Javascript映射到 site.com/pages/page.php?var1=ans1&var2=ans2 。我也做了…
Python Crawler - 需要有关我的算法的帮助
** 在帖子末尾添加了问题摘要 ** 我编写了一个抓取和解析 URL 的爬虫。 在第一个版本中，为了获得下一个有效页面，我增加了 URL ID 并将无效 ID 保存…
wget 用于获取 Facebook 个人资料/朋友页面
我正在尝试使用“wget”获取 facebook 用户的个人资料页面，但不断获取名为“browser.php”的非个人资料页面，该页面与该特定用户无关。我在浏览器中…
Python urllib2 和 [errno 10054] 现有连接被远程主机强制关闭以及一些 urllib2 问题
我编写了一个使用 urllib2 来获取 URL 的爬虫。 每隔几个请求我就会收到一些奇怪的行为，我尝试用 Wireshark 对其进行分析，但无法理解问题。 getPAGE…
Python：调用 Python 对象时超出最大递归深度
我构建了一个爬虫，它必须在大约 5M 页面上运行（通过增加 url ID），然后解析包含我需要的信息的页面。 使用在网址（200K）上运行的算法并保存好的和…
C# Windows.forms 中的网络蜘蛛/爬虫
我用 VC# 创建了一个网络爬虫。爬网程序通过暴力破解所有可能的 .nl 地址（以 http://aa.nl（理论上）http://zzzzzzzzzzzzzzzzzzzz.nl。 它工作得很好…
