python cookie 抓取不全问题。

发布于 2022-09-01 18:09:18 字数 1602 浏览 12 评论 0

cookie = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie)) 

urllib2.install_opener(opener)

opener.addheaders.append(('Referer', 'http://cn.dongguantoday.com/special/dgoec7/playerc.asp?id=4520'))
opener.addheaders.append(('Accept-Language', 'zh-CN'))
opener.addheaders.append(('Host', 'vote.sun0769.com'))
opener.addheaders.append(('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.0'))
opener.addheaders.append(('Connection', 'Keep-Alive'))

postdata = urllib.urlencode({
    'itemID':'4483',
    'resultpage':'http://cn.dongguantoday.com/special/dgoec7/playerc.asp?id=4520',
    'sessionId':'signp1502',
    'metaid':'1502',
    'SurveyCode':'696287',   
})

req1 = urllib2.Request(
    url = 'http://vote.sun0769.com/signup/actiondgoec7.asp?itemid=4520',
    data = postdata
)

result1 = opener.open(req1)

这是主要代码

用这种方式登录网站,发现无论我怎么登录,都会显示下图,然后通过打印cookie和浏览器抓到的包做对比,发现缺少一个cookies,叫A吧;然后会多了一个cookies,叫B吧;

我用浏览器手动删除A发现只要是缺少A,就会被服务器拒绝访问,也会显示下图:

图片描述


浏览器的cookies:
图片描述


我脚本获得的cookies:
图片描述

所以现在我想请教,有什么方法可以抓到那个cookies?我试过将cookies保存在一个文件内,将A直接复制下来,再通过读取文件来访问网站,发现还是不行,那我应该下一步往哪个方向走,去获得正确的cookies,或者说,不会让服务器端拒绝我的访问呢

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文