从包含大量 Javascript 的网页进行屏幕抓取
Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …
如何在 BeautifulSoup 中呈现 unicode 标签的内容？
这是来自 WordPress 帖子详细信息页面的汤： content = soup.body.find('div', id=re.compile('post')) title = content.h2.extract() item['title'] …
查找 HTML 页面上的所有 IP
我想用 python 获取一个 HTML 页面，然后从中打印出所有 IP。 我将 IP 定义如下： x.x.x.x:y< /strong> 其中： x = 0 到 256 之间的数字。 y = 一…
如何最好地代表第三方屏幕抓取受密码保护的网站？
我想编写一个程序来分析您的梦幻棒球队并通知您建议的操作，可能每天多次。 问题是，您不是在我的网站上玩梦幻棒球，而是在 yahoo、cbs 或 espn 等网…
以编程方式登录网站以进行屏幕抓取的最佳方法是什么？ （最好是Python）
我希望能够以编程方式登录网站并定期从该网站获取一些信息。 可以使这件事尽可能简单的最佳工具是什么？ 我更喜欢某种类型的 Python 库，因为我想更加…
curl 无法获取网页内容，为什么？
我正在使用curl 脚本转到链接并获取其内容以进行进一步操作。 以下是链接和curl脚本： <?php $url = 'http://criminaljustice.state.ny.us/cgi/inte…
如何使用正则表达式从网页中提取数据？
我正在编写一个curl脚本来收集有关一些性犯罪者的信息，我开发了一个脚本来获取如下所示的链接： http://criminaljustice.state.ny.us/cgi/internet/n…
Python-从 asp.net AJAX 应用程序获取数据
使用Python，我尝试读取 http://utahcritseries.com/RawResults.aspx 上的值。 我可以很好地阅读该页面，但很难更改年份组合框的值以查看其他年份的数…
网页抓取选项 - C++ 仅版本
我正在寻找一个好的 C++ 库来进行网页抓取。 它必须是C/C++，没有其他，所以请不要引导我HTML 抓取选项 或其他 SO 问题/答案，其中甚至没有提到 C++。…
python-beautifulsoup 误报了我的 html 吗？
据我所知，我每台机器都有两台，运行 python 2.5 和 BeautifulSoup 3.1.0.1。 我正在尝试抓取 http://utahcritseries.com/RawResults.aspx，使用 from…
如何使用 Perl 登录 YouTube？
我正在尝试编写一个 Perl 脚本来连接到我的 YouTube 帐户，但它似乎不起作用。 基本上我只想连接到我的帐户，但显然它不起作用。 我什至不知道如何调…
卷曲功能可从选择框中选择选项并自动提交
我是一个新手，每天都会尝试不同的事情，当我遇到困难时总是来这里。 我想使用curl和php编写一个脚本，该脚本转到此链接：http:// tools.cisco.com/WW…
如何从屏幕上抓取网络邮件页面？
我正在做一个项目，其中我需要登录网站并抓取网页内容。 我尝试了以下代码： protected void Page_Load(object sender, EventArgs e) { WebClient web…
截取您一生中见过的最丑陋的 HTML
我正在使用 PHP 和 libtidy 来尝试筛选可能是历史上最可怕、最畸形的 HTML 表格使用情况。 该网站关闭了一些表格、tr、td、字体或粗体标签，并始终在…
