如何使用 PHP、CURL 抓取 javascript 网站

Question

可能的重复：
如何从其他站点呈现 javascript ，在 PHP 应用程序内？

这是网站 http://www.oferta.pl/strona_v2/gazeta_v2/ 。该网站完全基于 JavaScript 构建。我想使用 PHP 和curl 进行抓取。目前我使用 DOMXPath。在左侧菜单中有一些类别可供选择。我在那里看不到“形式”。如何使用curl 提交该表单并废弃输出页面？

我只使用过 file_get_contents() 。它没有获取整个页面。我该如何继续？

注意： http://www.html-form- guide.com/php-form/php-form-submit.html 我发现这个例子有一个“表单”。但我指定的网站没有“表格”。

Answer 1

你不能刮它。这是可能的。但这太难了。

1. 通过curl模拟http请求。检查ajax发出的每个请求并尝试模拟它。

2. 模拟 Javascript 执行（这部分几乎是不可能的）。某些请求包含由 Javascript 生成的值。您需要在 php 中执行此操作。如果他们有一些用 JS 实现的复杂算法，您可以调用 v8 javascript 引擎。