硒 - 迭代分页地点，有额外的随机数

Question

我想刮擦的网站是分页的，但我不能仅迭代页面，因为每个下一页都有一些额外的随机数。

这是页面：

https：//market.biset.burset.burset.bursnis.com/bursa-saham/2 /20220621181040 （第二页）

如果我只是更改（页面），则将导致空白页，这是我的代码，谢谢！

options = Options()
options.add_argument("start-maximized")
options.add_argument('--no-sandbox')
  
element_list = []
  
for page in range(1,3, 1):
    
    page_url = "https://market.bisnis.com/bursa-saham/" + str(page)
    driver = webdriver.Chrome("C:/Users/krish/Desktop/chromedriver_win32/chromedriver.exe", chrome_options=options,)
    driver.get(page_url)
    title = driver.find_elements(By.TAG_NAME, 'h2')
  
    for i in range(len(title)):
        element_list.append([title[i].text])
  
with xlsxwriter.Workbook('result2.xlsx') as workbook:
    worksheet = workbook.add_worksheet()
  
    for row_num, data in enumerate(element_list):
        worksheet.write_row(row_num, 0, data)
  
driver.close()

Answer 1

而不是通过URL导航到下一页（我相信您不知道您不知道的日期和时间）尝试单击Next按钮：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

next_button = driver.find_element(By.ID, 'nextbtn')
next_button.click()
WebDriverWait(driver, 10).until(EC.staleness_of(next_button))

PS也最好将

driver = webdriver.Chrome("C:/Users/krish/Desktop/chromedriver_win32/chromedriver.exe", chrome_options=options,)

行从循环移出，以使用相同的浏览器实例进行刮擦所有页面