使用硒代理无法获得正确的结果

Question

我的功能可以正常工作，但没有代理。 它包含html中的内容，当我从a ：

def extract_listing_html(url):
    
    driver_path = "C:/Users/parkj/Downloads/chromedriver_win32/chromedriver.exe"
    driver = webdriver.Chrome(service = Service(driver_path))
    driver.get(url)  
    time.sleep(5)
    html = driver.page_source
    soup = BeautifulSoup(html, "html.parser")
    
    return soup

我想使用代理和这是我到目前为止所拥有的，但是我没有得到与不使用代理时相同的结果：

def extract_listing_html(url):
    
    PROXY = "164.155.145.1:80" 
    driver_path = "C:/Users/parkj/Downloads/chromedriver_win32/chromedriver.exe"
    chrome_options = Options()  
    chrome_options.add_argument('--proxy-server=%s' "http://" +PROXY)
    driver = webdriver.Chrome(service = Service(driver_path), options = chrome_options)
    driver.get(url)  
    time.sleep(5)
    html = driver.page_source
    soup = BeautifulSoup(html, "html.parser")
    
    return soup

我在Web> Web driver中发现option = chrome_options .Chrome（）是导致其不是返回同一html的原因，但我不确定。

html，没有proxy

html具有代理

它们看起来完全不同，不确定是什么原因引起的。

进口：

import time 
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

Answer 1

相反，使用用户代理给我带来了结果。

使用pip install pyyaml ua-parser用户代理nake-useragent安装facke_useragent

from fake_useragent import UserAgent

def extract_listing_html(url):
    
    opts = Options()
    ua = UserAgent()
    userAgent = ua.random
    print(userAgent)
    opts.add_argument(f'user-agent={userAgent}')
    driver = webdriver.Chrome(service = Service(driver_path), options = opts)
    driver.get(url)  
    time.sleep(5)
    html = driver.page_source
    soup = BeautifulSoup(html, "html.parser")
    
    return soup