按照Firebug的post通过python获取网页内容,可是无法正确显示?

发布于 2022-09-11 15:26:48 字数 1339 浏览 20 评论 0

我想获取这个网站的一些ip
http://spys.one/en/free-proxy...

因为如果我点击servers per page换成100或者50,表格里的ip就会变多,我查看了Firebug,应该是一个post request,然后我把headers和params换成了Firebug里显示的内容。

可是结果还是一个表格里30个。而不是50个。是哪里出问题了?
我吧header里的一些注释掉了,因为好像老是出错,可是我觉得问题不在这里

import requests
import json

headers = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
           'Accept-Encoding': 'gzip, deflate',
           'Accept-Language': 'en-US,en;q=0.5',
           'Connection': 'keep-alive',
           # 'Content - Length': 29
           'Content - Type': 'application / x - www - form - urlencoded',
           # 'Cookie': {'_ga': 'GA1.2.1327775775.1542557446', '_gid': 'GA1.2.1490822828.1542557446'},
            'Host': 'spys.one',
            'Origin': 'http: // spys.one',
            'Referer': 'http: // spys.one / en / free - proxy - list /',
          # 'Upgrade - Insecure - Requests': 1,
            'User - Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36'
           }
url = 'http://spys.one/en/free-proxy-list/'

params = {'Form Data': {"xpp": 1, "xf1": 0, "xf2": 0, "xf4": 0, "xf5": 0}}

res = requests.post(url, params=params, headers=headers)

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

断念 2022-09-18 15:26:49

params = {'Form Data': {"xpp": 1, "xf1": 0, "xf2": 0, "xf4": 0, "xf5": 0}}换成params = {"xpp": 1, "xf1": 0, "xf2": 0, "xf4": 0, "xf5": 0}
,然后使用这个语句res = requests.post(url, data=params, headers=headers).

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文