java爬虫通过selenium+WebDriver遍历页面链接报错

Question

背景

由于要爬取的页面，每个链接的请求都是点击之后js动态发起的，目标数据也多是js动态生成的，所以使用selenium工具+webdriver（调试用的是chrome，具体使用准备用phantomjs）.

模拟登录之后，模拟查询之后，得到如下列表

可以看到链接是不能直接拿到的。

接下去步骤是这样的：

1. 得到链接的集合
2. 遍历集合，点击链接，得到对应的详情页面
3. 通过页面句柄转到详情页面，拿到目标数据，再转回父页面
4. 如上继续遍历

问题

按照如上逻辑，在执行到遍历步骤的时候，在第二次时报错了。

第一种报错：

org.openqa.selenium.StaleElementReferenceException: stale element 
reference: element is not attached to the page document

我的代码：

// 获取查询按钮
            WebElement queryBtn = driver.findElement(By.ByXPath.xpath("//*[@id=\"mainContent\"]/form/div[3]/div[13]/button[1]"));
//            jse.executeScript("arguments[0].scrollIntoView()", queryBtn);
            scrollToElementAndClick(queryBtn);
            Thread.sleep(500);  // 等待加载

            driver.manage().window().maximize();
            driver.manage().timeouts().implicitlyWait(60, TimeUnit.SECONDS);
            driver.manage().timeouts().pageLoadTimeout(60, TimeUnit.SECONDS);

            int pageIndex = Integer.parseInt(driver.findElement(By.xpath("//*[@id=\"mainContent\"]/div[2]/div[2]/div[1]/table/tfoot/tr[2]/td/div/ul/li[1]/span/font[3]")).getText());
            int pageSize = Integer.parseInt(driver.findElement(By.xpath("//*[@id=\"mainContent\"]/div[2]/div[2]/div[1]/table/tfoot/tr[2]/td/div/ul/li[1]/span/font[2]")).getText());
//            Actions actions = new Actions(driver);
            while (pageIndex <= pageSize) {
                pageIndex++;
                WebElement tbody = driver.findElement(By.ByXPath.xpath("//*[@id=\"mainContent\"]/div[2]/div[2]/div[1]/table/tbody"));
                List<WebElement> links = tbody.findElements(By.cssSelector("a[class=ng-binding]"));
                for (WebElement link : links) {
                    WebDriver window;
                    System.out.println("-------------- voucherNo: "+ link.getText());
                    scrollToElementAndClick(link);
//                    jse.executeScript("arguments[0].scrollIntoView()", link);
//                    Thread.sleep(1000);
//                    actions.moveToElement(link).click().perform();
                    currentWindow = driver.getWindowHandle();
                    //get all windows
                    Set<String> handles = driver.getWindowHandles();
                    for (String s : handles) {
                        //current page is don't close
                        if (s.equals(currentWindow) || s.equals(parentWindow))
                            continue;
                        else {
                            window = driver.switchTo().window(s);
                            window.manage().window().maximize();
                            window.manage().timeouts().implicitlyWait(60, TimeUnit.SECONDS);
                            window.manage().timeouts().pageLoadTimeout(60, TimeUnit.SECONDS);
                            //get all tables
                            String pageSource = window.getPageSource();
                            String jsonArray = parseDTO(pageSource);
                            System.out.println(jsonArray);
                            //close the table window
                            window.close();
                        }
                        //swich to current window
                        driver.switchTo().window(currentWindow);
                    }

                }
                // click next page
                if (pageIndex <= pageSize) {
                    WebElement nextPage = driver.findElement(By.xpath("//*[@id=\"mainContent\"]/div[2]/div[2]/div[1]/table/tfoot/tr[2]/td/div/ul/li[3]/a"));
                    scrollToElementAndClick(nextPage);
                    //set next page to current page
                    driver = driver.switchTo().window(driver.getWindowHandle());
                    driver.manage().window().maximize();
                    driver.manage().timeouts().implicitlyWait(60, TimeUnit.SECONDS);
                    driver.manage().timeouts().pageLoadTimeout(60, TimeUnit.SECONDS);
                }
            }

我在stackoverflow上面查到过类似问题，也去官网上面看到了对应报错的解释：原因应该是我在跳转到子页面的时候，父页面进行的刷新，虽然在ui上面还能到那些链接，但是集合里面的链接是原先定义的，和遍历一次之后回来的父页面对应不上了。（我是这么理解的，如果我理解错了，请大神指出）。

然后我就按照官方的建议，每次页面去页面上拿链接而不是从原先定义的链接集合中拿。

先说明：每个链接的xpath都是有规律的，如：

//*[@id="mainContent"]/div[2]/div[2]/div[1]/table/tbody/tr[1]/td[2]/a
//*[@id="mainContent"]/div[2]/div[2]/div[1]/table/tbody/tr[2]/td[2]/a
//*[@id="mainContent"]/div[2]/div[2]/div[1]/table/tbody/tr[3]/td[2]/a
//*[@id="mainContent"]/div[2]/div[2]/div[1]/table/tbody/tr[%s]/td[2]/a

这是我第二次的代码：

            while (pageIndex <= pageSize) {
                pageIndex++;
                WebElement tbody = driver.findElement(By.ByXPath.xpath("//*[@id=\"mainContent\"]/div[2]/div[2]/div[1]/table/tbody"));
                List<WebElement> links = tbody.findElements(By.cssSelector("a[class=ng-binding]"));
                int size = links.size();
                for (int i = 1; i <= size; i++) {
                    String href = String.format("//*[@id=\"mainContent\"]/div[2]/div[2]/div[1]/table/tbody/tr[%s]/td[2]/a", i);
                    WebElement link = driver.findElement(By.xpath(href));
                    WebDriver window;
                    System.out.println("-------------- voucherNo: "+ link.getText());
                    scrollToElementAndClick(link);
                    currentWindow = driver.getWindowHandle();
                    //get all windows
                    Set<String> handles = driver.getWindowHandles();
                    for (String s : handles) {
                        //current page is don't close
                        if (s.equals(currentWindow) || s.equals(parentWindow))
                            continue;
                        else {
                            window = driver.switchTo().window(s);
                            window.manage().window().maximize();
                            window.manage().timeouts().implicitlyWait(60, TimeUnit.SECONDS);
                            window.manage().timeouts().pageLoadTimeout(60, TimeUnit.SECONDS);
                            //get all tables
                            String pageSource = window.getPageSource();
                            String jsonArray = parseDTO(pageSource);
                            System.out.println(jsonArray);
                            //close the table window
                            window.close();
                        }
                        //swich to current window
                        driver.switchTo().window(currentWindow);
                    }

                }
                // click next page
                if (pageIndex <= pageSize) {
                    WebElement nextPage = driver.findElement(By.xpath("//*[@id=\"mainContent\"]/div[2]/div[2]/div[1]/table/tfoot/tr[2]/td/div/ul/li[3]/a"));
                    scrollToElementAndClick(nextPage);
                    //set next page to current page
                    driver = driver.switchTo().window(driver.getWindowHandle());
                    driver.manage().window().maximize();
                    driver.manage().timeouts().implicitlyWait(60, TimeUnit.SECONDS);
                    driver.manage().timeouts().pageLoadTimeout(60, TimeUnit.SECONDS);
                }
            }

这次报了第二种错误：

Caused by: org.openqa.selenium.NoSuchElementException: {"errorMessage":"Unable to find element with xpath

Emm...试了很多种办法都没有用，希望有大神能救救我

万分感谢！！！

Answer 1

很尴尬又来自答了，按照我第二种方法，页面跳转之后，返回到父页面时，通过xpath定位我要点击的下一个链接，这个方法是可行的。

问题是出在在返回到父页面之后，要切换iframe，不然就定位不到。

所以要执行一次driver.switchTo.frame()。这样才能定位到。

Answer 2

第一次的问题是因为元素失效，当循环中的第一个元素点击过后，其他全部失效，你可以尝试吧所有url放到list中再获取。第二个问题是元素不存在，页面跳转之后，相同的xpath是找不到对应的元素的。