python3 取 baidu 关键字十条结果为何与实际通过浏览器搜索的结果不同?

发布于 2022-09-07 19:39:27 字数 1127 浏览 24 评论 0

#coding:utf-8
from collections import Counter
import requests
from bs4 import BeautifulSoup
from urllib import request
import urllib
url = 'https://www.baidu.com.cn/s?wd=' + urllib.parse.quote('python3') + '&pn='  # word为关键词,pn是百度用来分页的..

headers = {    
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',    
'Connection': 'keep-alive',       
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8'}

r=requests.get(url,headers=headers)
soup = BeautifulSoup(r.text.replace('<b>', '').replace('</b>', ''),'lxml')

url_list=soup.select('div.result > h3 > a')
for i in url_list:
    print(i.getText())

以下是在浏览器搜索python3,前四个结果,当我用python3以上程序取前十结果时,结果内容是不一致的,试过n多关键词都是,哪位朋友能给讲讲原因,是我程序的问题还是百度做了什么,谢谢!
以下是在浏览器搜索python3,前四个结果,当我用python3以上程序取前十结果时,结果内容是不一致的,试过n多关键词都是,哪位朋友能给讲讲原因,是我程序的问题还是百度做了什么,谢谢!

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

梦魇绽荼蘼 2022-09-14 19:39:27

你把你本地的浏览器里的cookie带上试试

冷︶言冷语的世界 2022-09-14 19:39:27

我试了一上,百度搜索结果的页面url中有N多个参数,远远不只wd和pn 。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文