requests.get和aiohttp get和httpx模块之间的结果不同

Question

我正在尝试使用预防机器人的网站。

使用以下脚本使用请求，我可以访问该网站。

request = requests.get(url,headers={**HEADERS,'Cookie': cookies})

我得到了所需的HTML。但是，当我使用AIOHTTP时，

async def get_data(session: aiohttp.ClientSession,url,cookies):
    async with session.get(url,timeout = 5,headers={**HEADERS,'Cookie': cookies}) as response:
        text = await response.text()
        print(text)

我会得到响应机器人预防页面。

这是我用于所有请求的标题。

HEADERS = {
    'User-Agent': 'PostmanRuntime/7.29.0',
    'Host': 'www.dnb.com',
    'Connection': 'keep-alive',
    'Accept': '/',
    'Accept-Encoding': 'gzip, deflate, br'
} 

我已经比较了请求标题。

有什么原因是结果不同吗？如果是这样，为什么？

编辑：我已经检查了HTTPX模块，问题出现在httpx.client（） and httpx.asyncclient（）中。

response = httpx.request('GET',url,headers={**HEADERS,'Cookie':cookies})

行不通。 （不是异步）

Answer 1

我尝试使用Wireshark捕获数据包，以比较请求和AIOHTTP。

服务器：

    import http
    server = http.server.HTTPServer(("localhost", 8080), 
    http.server.SimpleHTTPRequestHandler)
    server.serve_forever()

带有请求：

    import requests
    url = 'http://localhost:8080'
    HEADERS = {'Content-Type': 'application/json'}
    cookies = ''
    request = requests.get(url,headers={**HEADERS,'Cookie': cookies})

请求数据包：

    GET / HTTP/1.1
    Host: localhost:8080
    User-Agent: python-requests/2.27.1
    Accept-Encoding: gzip, deflate, br
    Accept: */*
    Connection: keep-alive
    Content-Type: application/json
    Cookie: 

带有AIOHTTP：

    import aiohttp
    import asyncio
    
    url = 'http://localhost:8080'
    HEADERS = {'Content-Type': 'application/json'}
    cookies = ''
    async def get_data(session: aiohttp.ClientSession,url,cookies):
        async with session.get(url,timeout = 5,headers={**HEADERS,'Cookie': cookies}) as response:
            text = await response.text()
            print(text)
    
    async def main():
        async with aiohttp.ClientSession() as session:
            await get_data(session,url,cookies)
    
    asyncio.run(main())

AIOHTTP数据包：

    GET / HTTP/1.1
    Host: localhost:8080
    Content-Type: application/json
    Cookie: 
    Accept: */*
    Accept-Encoding: gzip, deflate
    User-Agent: Python/3.10 aiohttp/3.8.1

如果网站似乎接受请求中的数据包，则可以尝试通过设置标头来制作AIOHTTP数据包相同：

    HEADERS = { 'User-Agent': 'python-requests/2.27.1','Accept-Encoding': 'gzip, deflate, br', 'Accept': '*/*', 'Connection': 'keep-alive', 'Content-Type': 'application/json','Cookie': ''}

如果您还没有：我建议捕获请求捕获请求使用Wireshark确保AIOHTTP不会与您的标题弄乱。

您也可以尝试其他用户代理字符串，或者以不同订单的方式尝试标头。该订单不应该很重要，但是有些站点无论如何都会检查它以进行机器人保护（例如，这个问题）。