为 Java 应用程序筛选格式不良的 XHTML 页面的最佳方法是什么
我希望能够从网页中获取内容，尤其是标签及其中的内容。 我尝试过 XQuery 和 XPath，但它们似乎不适用于格式错误的 XHTML，而 REGEX 则很痛苦。 有没…
如何在 ASP.NET 中模拟网站登录，然后从页面中抓取一些数据
是否有人对在 ASP.NET 代码中执行以下操作有任何建议： 1) 使用用户名和密码登录受密码保护的站点（目标站点不一定是 ASP.NET） 2) 导航到特定页面和/…
屏幕抓取 ASP.NET 网页以检索网格视图中显示的数据
我正在使用 RUBY 来屏幕截图一个网页（在 asp.net 中创建），该网页使用 gridview 来显示数据。 我能够成功读取网格第 1 页上显示的数据，但无法弄清…
为什么 Beautiful Soup 会截断此页面？
我正在尝试从我的学校图书馆订阅的资源列表中提取资源/数据库名称和 ID 列表。 有些页面列出了不同的资源，我可以使用 urllib2 来获取页面，但是当我…
如何下载雅虎网上论坛？
我想下载一些雅虎群组（文件、照片、消息、成员列表），我找到了这些脚本： http ://freshmeat.net/projects/grabyahoogroup/ http://sourceforge .ne…
从表单生成可能的 URL
我正在尝试获取此页面上的表单生成的所有 URL（然后获取数据） - http://www.vodafone.in/_layouts/servicecallertunes.aspx 收效甚微。 我已经在 Fir…
如何从 HTML 文件中提取所需的数据？
这是我的 HTML： p_tags = '''<p class="foo-body"> <font class="test-proof">Full name</font> Foobar<br /> <font class="test-…
使用 www::mechanize 时的 Iconv::IllegalSequence
我正在尝试进行一些网络抓取，但 WWW:Mechanize gem 似乎不喜欢编码并且崩溃。 post 请求导致 302 重定向（机械化遵循，到目前为止一切顺利），并且生…
超快速的屏幕抓取技术？
Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …
使用selectorgadget.com 解析HTML 文件
我如何使用 beautiful soup 和 selectorgadget 来抓取网站。 例如，我有一个网站 - （newegg 产品） 并且我希望我的脚本返回该产品的所有规格（单击“…
