使用 CasperJS 和 PhantomJS 抓取 Google 关键字工具

Question

我目前正在尝试使用 CasperJS 和 PhantomJS（这两个优秀的工具，感谢 n1k0 和 Ariya）抓取 Google 关键字工具，但是我无法让它工作。

这是我当前的流程：

1. 使用我的 Google 帐户登录（以避免关键字工具中出现验证码）。
2. 导航至关键字工具页面。
3. 填写搜索表单并按搜索。

我陷入了第 3 步：搜索表单不是常规 HTML 表单，我无法使用 Casper#fill()，因此我直接访问字段。以下是我尝试更改“单词或短语”字段的值的一些语法：

this.evaluate(function() {

    // Trying to change the value...
    document.querySelector('textarea.sP3.sBFB').value = 'MY SUPER KEYWORDS';
    document.querySelector('textarea.sP3.sBFB').setAttribute('value', 'MY SUPER KEYWORDS');
    document.querySelector('textarea').value = 'MY SUPER KEYWORDS';   // there's only one <textarea> on the page

    // Trying to change other attributes...
    document.querySelector('textarea.sP3.sBFB').textContent = 'MY SUPER KEYWORDS';
    document.querySelector('textarea').style.backgroundColor = 'yellow';
});

没有任何作用。之后我正在执行 Casper#capture() 来查看该字段包含的内容。 如您所见，它确认我位于正确的页面并且我已登录，但是</code> 为空。

奇怪的是，我可以访问 DOM 的其他部分：我可以将 Advanced Options and Filters 链接的文本更改为 ___VINCE SAYS HELLO___ （请参阅捕获），方法是：以下：

this.evaluate(function() {
    document.querySelector('a.sLAB').textContent = '___VINCE SAYS HELLO___';
});

PS。我知道抓取 Google 关键字工具违反了 TOS，但我认为任何试图抓取 JavaScript/Ajax 网站的人可能会对这个问题感兴趣。

Answer 1

document.querySelector('textarea.sP3.sBFB').value = 'MY SUPER KEYWORDS';

您不能在文本区域上使用elt.value。您尝试过elt.textContent吗？

Answer 2

为什么你要尝试去抓取结果。 Google 已经为我们创建了一个 csv 文件。
尝试下载它。该链接选择器必须类似于 $('.gux-combo gux-dropdown-c .sJK')
您会用它来实现自动化吗？

Answer 3

我不确定这里到底发生了什么，但是您用于定位的类对我来说是不同的。我假设您尝试定位的 OneBoxKeywordsInputPanel-input 文本区域有第二个类 sPFB，并且没有其他类。这些神秘的类可能在某种程度上是动态的。我建议使用更具描述性的类名称。以下对我来说效果很好：

document.querySelector('textarea.OneBoxKeywordsInputPanel-input')