使用 pycurl 获取下一页谷歌结果
我已经编写了使用 pycurl 在 google 上搜索某些内容的代码。我希望能够使用 pycurl 来执行此操作，但非常感谢所有帮助。我正在寻找搜索术语的能力，然后使用 pycurl“单击下一页按钮”或“单击底部的索引数字”，这样我可以获得的不仅仅是前 10 个网络结果。
提前致谢。
I have written code to search something on google using pycurl. I would like to be able to use pycurl to do this but all help is greatly appreciated. I am looking for the ability to search a term and then "click the next page button" or "click the indexed numbers at the bottom" using pycurl so I can get more then just the first 10 web results.
Thanks in advance.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
有多种方法可以做到这一点。
如果您的基本网址为 http://www.google.co.uk/ search?hl=en&q=YOUR_QUERY_STRING
您可以将 &num=100 添加到网址末尾以获取前 100 个结果。
或者如果您可以添加 &start=N（其中 N 是 10 的倍数），然后重新发送 Web 请求以获取下一页
，或者您只需使用 XPATH 解析网页并获取搜索结果下一页的 url。
There are multiple ways to do this.
if your base url is http://www.google.co.uk/search?hl=en&q=YOUR_QUERY_STRING
you can add &num=100 to the end of your url to get first 100 results.
or if you can add &start=N, where N is a multiple of 10, and resend the webrequest to get the next page
or you just use XPATH to parse the webpage and get the url of the next page on the search results.