从网站列表中抓取返回基于 Xpath 的空结果

Question

因此，我试图从该网站上删除职位列表 https://www.dsdambuster.com/careers。

我有以下代码：

url = "https://www.dsdambuster.com/careers"
page = requests.get(url, verify=False)
tree = html.fromstring(page.content)
path = '/html/body/div[1]/section/div/div/div[2]/div[1]/div/div[2]/div/div[9]/div[1]/div[3]/div[*]/div[1]/a[*]/div/div[1]/div'
 
jobs = tree.xpath(xpath)

for job in jobs:
    Title = (job.text)
    print(Title)

不太确定为什么它不起作用......

Answer 1

我在这里看到两个问题：

1. 您使用的是非常糟糕的 XPath。它极其脆弱且不可靠。
   而不是

'/html/body/div[1]/section/div/div/div[2]/div[1]/div/div[2]/div/div[9]/div[1]/div[3]/div[*]/div[1]/a[*]/div/div[1]/div'

请使用

'//div[@class="vf-vacancy-title"]'

2. 您可能错过了等待/延迟。
   我不熟悉您在这里使用的方式，但是对于我熟悉的 Selenium，您需要等待元素完全加载，然后才能提取其文本内容。