如何通过Google搜索抓取特定域的链接？

Question

我有一个印度歌曲的歌词语料库，需要用发行年份来标记它们，以进行我正在进行的实验。

有一个网站（lyricsindia.net），其中有这些歌词的详尽数据库，但遗憾的是无法在该网站上搜索歌词。相反，当我使用部分歌词作为搜索字符串进行谷歌搜索时，lyricindia.net 上该歌曲的链接始终位于前 10 个结果中。

现在，我想知道是否可以使用像 scrapy 这样的网络爬行框架来使用搜索字符串作为爬行的起点。我遇到的每个 Scrapy 教程都以起始 URL 开头。

Answer 1

您的搜索字符串可能是 Scrapy 网址的一部分。类似 google.com?q=my+string

或者，您可以检索搜索表单，并用您的字符串填充它，例如：

return [FormRequest.from_response(response,
            formdata={'search': 'you\'re search string'},
            callback=self.parse)]

我确信 Scrapy 可能会做您想做的事情。