用python selenium抓取携程信息

Question

最近在学习selenium，遇到一个很奇怪的问题，debug了半天还是没弄明白，我是在测试抓取携程网站的机票信息

我的代码：

# -*- coding: utf-8 -*-
from selenium import webdriver
import time
from lxml import etree

#在订票页面http://flights.ctrip.com/
driver = webdriver.Chrome()
driver.get('http://flights.ctrip.com/')
time.sleep(1)
element_time = driver.find_element_by_id('DepartDate1TextBox')
element_time.send_keys(u'2016-07-22')
element_arr = driver.find_element_by_id('ArriveCity1TextBox')
element_arr.send_keys(u'北京')
element_depart = driver.find_element_by_id('DepartCity1TextBox')
element_depart.send_keys(u'南京')

driver.find_element_by_id('search_btn').click()

#点击click事件后，页面其实是跳转到http://flights.ctrip.com/domestic/Search/FirstRoute/?DCity1=NKG&ACity1=BJS&DDate1=2016-07-22
time.sleep(1)
print driver.current_url
#点击重新搜索
driver.find_element_by_id('btnReSearch').click()
print driver.current_url
for i in range(3):
    js = 'window.scrollTo(0,100000)'
    time.sleep(1)
    driver.execute_script(js)
time.sleep(1)
html_text = driver.page_source

selector = etree.HTML(html_text)
outer_div = selector.xpath('//div[@class="search_box  search_box_tag   "]')

driver.quit()
print outer_div

然后就是我对这小块代码的调试时

发现得到的结果

是一致的，但是，但是，当我再次debug时，或者运行时

发现取不到数据，经过很多次测试，发现一半时候取到，一半时候取不到，后面我去掉driver.quit()调试发现

同样的url，但是div出现2个不一样的，导致抓取不到，所以我很奇怪为什么会出现这种问题

Answer 1

使用selector.xpath('//div[contains(@class,"search_box search_box_tag")]')试试？