Python - 如何通过多个Google网站搜索电子邮件地址

Question

我正在尝试检索在网络上搜索的不同公司的一些电子邮件地址。 我有一个包含公司名称的 Excel 文件，我想出了一个小脚本，可以

1. 在 Google 上并排搜索每个名称到“电子邮件”，然后尝试单击
2. 解析网页的第一个 Google 结果以查找与正则表达式“*@*”。这意味着：在页面中查找包含“[电子邮件受保护]”的任何内容（例如[email protected]）并
3. 最终提取测试并将其存储在列表中。

不幸的是，当我尝试点击第一个 Google 结果时，我陷入了第 1 点。 这是代码：

from selenium import webdriver 
import pandas as pd
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains

g = webdriver.Chrome()
df = pd.read_excel(path)
for i in range(len(df['Company name'])):
      g.get("https://www.google.com/search?q=" + df['Company name'][i] + " email")
      cookies_accept = ActionChains(g)
      cookies_accept.send_keys(Keys.TAB*7).send_keys(Keys.ENTER).perform()
      results = g.find_elements_by_xpath('//*[@id="rso"]/div/div/div/div/div') 
      #this xpath does not work properly with each one of the query results page.

有关如何继续的任何提示吗？ TIA

Answer 1

问题可能是 Google 结果的格式不同。有些只显示主页的链接，有些还显示几个子页面。以下是搜索示例：

#this xpath 无法与每个查询结果页面正常工作。

如果您的方法已经对某些结果起作用，那么您就走在正确的道路上。解决方法可能是查看不同的格式，然后包含一些 try except 逻辑来检查每种结果格式，即包含第一个和第一个结果的单独 xpath屏幕截图中的第二个“Windows”搜索结果。