任何好的开源 C# 网络爬虫框架
Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …
处理特殊实体，如 & nbsp; , &磅;在 HtmlCleaner 中
我正在使用 HtmlCleaner 库进行 html 内容提取。它工作得相当好，但有一些限制。 它无法处理特殊字符，例如 &pound 或引号等。例如 对于网址：http…
Python urllib2，如何避免错误 - 需要帮助
我正在使用 python urllib2 从网络下载页面。我没有使用任何类型的 user_agent 等。我收到以下示例错误。谁能告诉我一个简单的方法来避免它们。 http:…
asp.net：从远程站点抓取imageurls后，如何只显示更大的图像？
我需要帮助完成以下任务： 在我的网络应用程序中，用户应该能够提交产品，包括来自某个产品网站的产品图像。他们首先输入产品网址来做到这一点，例如…
是否有一个简单的类/库使用 pyQT/webkit 来抓取具有 javascript 支持的网站？
我正在考虑使用 pyQT 来抓取支持 javascript 的网站，在尝试了所有静态 html 替代方案（beautifulsoup、mechanize 等）之后， 显然 pyQT 是一个更通用…
有些网站不允许xpath解析？
我正在尝试解析表格内网站中的一个元素。这是我使用的确切 xpath 表达式： [xpathParser search:@"/table[1]/tr[2]/td[1]"] 但是，当我运行该程序时，…
Python - BeautifulSoup html解析处理gbk编码不佳 - 中文网页抓取问题
我一直在修改以下脚本： # -*- coding: utf8 -*- import codecs from BeautifulSoup import BeautifulSoup, NavigableString, UnicodeDammit import u…
为没有 API 的网站创建 YQL
我计划为没有基于 XML/JSON 的 API 的站点创建一个 YQL 打开表。我计划使用 HTML 抓取从网站获取数据并将其返回给 YQL。这可能吗？开放表的性质是否相…
Http 敏捷包 - 访问兄弟姐妹？
使用 HTML Agility Pack 非常适合获取后代和整个表格等...但是在下面的情况下如何使用它你怎么能 ...Html Code above... <dl> <dt>Location:&…
