Python Web刮擦/数据提取

Question

对于我的硕士论文，我正在探索通过Web自动化从网站提取数据的可能性。步骤如下：

1. 登录网站（ https://wwww.metal.com/copper/ 201102250376 ）
2. 输入用户名和密码
3. 单击“登录日期”
4. 将日期更改为01/01/2020
5. 刮擦生成的表数据，然后将其保存到CSV文件中，
6. 将其保存到具有我的PC上的特定名称的特定文件夹，然后在我的PC上
7. 运行相同的序列要在同一浏览器窗口中的一个新标签中下载其他材料的其他历史价格数据

我在第5、6和7 的步骤中

，selenium import webdriver

driver_path ='c：\ webdriver \ webdriver \ chromedriver.exe ' = chromeoptions）

driver.maximize_window（）

driver.get（'https:/https://wwwwww.metal.com/copper/com/copper/201102250376'

驱动程序= webdriver.chrome（executable_path = driver_path， chrome_options loginClick1 = driver.find_element_by_css_selector（ '#__next＆gt; div＆gt; Div.smm-componten-header-en＆gt; Div.Main＆gt; Div.Right＆gt; button.button.sign-in'）

loginClick1.click（）

user_input = driver.find_element_by_id（'user_name'） user_input.send_keys（'#####'

） '）

password_input.send_keys（' #### '身体＆gt; Div：nth-​​Child（17）＆GT; div＆gt; div.ant-modal-wrap.ant-modal以中心为中心div＆gt; Div.ant-Modal-content＆gt; div＆gt; div＆gt; div＆gt; div.smm-component-sign-en-content＆gt; ＆gt; Div：nth-​​Child（3）＆GT; div＆gt; div＆gt;跨度＆gt; button'）

smint.click（）

time.sleep（2）

#scroll在页面中的兴趣点 driver.execute_script（“ window.scrollby（0,1000）”，“”）

#change Currency img [contains（@class，'icon ___ buqam'）]”）。

driver.find_element （

by.xpath ，

“ // '//*[@ID =“ __ next”] a>/div [7]/div 1 /div/div a href 2 /div 1 /span 1

/div/div/i'date_input.click（）

action = action链（驱动程序）

action.move_to_element（date_input）.send_keys（keys.backspace）.send_keys（send_keys（ keys.backSpace）.send_keys（keys.backspace）.send_keys（keys.backspace）.send_keys（keys.backspace）.send_keys（keys.backspace）.send_keys .send_keys（keys.backspace） .back -space）.send_keys（keys.backspace）.perform（）

action.move_to_element（date_input）.send_keys（“ 01/01/2020”）。 ）.send_keys（keys.enter）。

action.move_to_element （

date_input 请参阅下面的HTML代码 生成的表

**May 27, 2022** **10,758.75-10,788.43** **10,773.59** **+97.94** **USD/mt**

任何帮助都将不胜感激。

使用按钮下载文件 下载按钮

driver.find_element(By.XPATH,"//img[contains(@src,'https://static.metal.com/www.metal.com/4.1.161/static/images/price/download.png')]").click()

time.sleep(1)

driver.find_element(By.XPATH,"//img[contains(@src,'https://static.metal.com/www.metal.com/4.1.161/static/images/price/download_excel.png')]").click()

以节省时间，因为我有多个文件/数据要下载，我也在探索通过提供的下载按钮直接保存文件的可能性。

• 我遇到的问题是我无法直接指定我希望将其保存的文件名。
• 单击后，“下载”按钮打开一个新选项卡，然后关闭 在几秒钟内初始化文件下载。
• 然后，使用材料码 - today的日期文件下载该文件 命名格式。

您对如何解决这个问题有什么想法吗？

Answer 1

原因 in 按钮未得到单击是因为xpath //*[@ID =“ __ next”]/div/div/div/div [3]/div [2]/div [2 ]/button [2]是不正确的ID Next是主要容器div，我们通过它导致到<<代码>符号按钮通过提供剩余的HTML nodre结构

，您可以根据其类值直接选择“ clast ='button sign-in']基于其类值的符号

您的登录解决方案看起来像

driver = webdriver.Chrome(executable_path='C:\webdrivers\chromedriver.exe')
driver.maximize_window()
driver.get('https://www.metal.com/Nickel/201102250239')
# Click on Sign In
driver.find_element(By.XPATH, "//button[@class='button sign-in']").click()
# Enter username
driver.find_element(By.ID, "user_name").send_keys("your username")
# Enter password
driver.find_element(By.ID, "password").send_keys("your password") 
# Click Sign In
driver.find_element(By.XPATH, "//button[@type='submit']").click()

刮擦数据

for element in driver.find_elements_by_class_name("historyBodyRow___1Bk9u"):
 elements =element.find_elements_by_tag_name("div")
 print("Date="+ elements[0].text)
 print("Price Range="+ elements[1].text)
 print("Avg="+ elements[2].text)
 print("Change="+ elements[3].text)
 print("Unit="+ elements[4].text)

添加到csv

import csv
f = open('Path where you want to store the file', 'w')
writer = csv.writer(f)
for element in driver.find_elements_by_class_name("historyBodyRow___1Bk9u"):
  elements =element.find_elements_by_tag_name("div")
  entry = [elements[0].text ,elements[1].text ,elements[2].text , elements[3].text, elements[4].text]
  writer.writerow(entry)

f.close