Selenium“ Move_to_element”动作循环运行

Question

我正在尝试在Instagram上的帖子上使用Web-Scrape。

我已经尝试浏览每个帖子，但是在一定数量的帖子之后，Instagram停止响应请求。

因此，现在我试图在不开放帖子的情况下刮擦类似的数量，即当您将鼠标悬停在缩略图上时，它显示出您的样子和评论计数。
缩略图的引用。

为此，我以这种方式使用move_to_element函数：

1-搜索列表帖子。
2-使用move_to_element在这些帖子上徘徊。
3-刮擦数据。
4-滚动
重复步骤1-4。

我的程序通过第一组没有任何问题和卷轴。 但是，然后开始从第一篇文章中浏览，而不是从滚动后停止或第一个元素加载的位置。

代码（简化）：

newPost = True
while newPost:
    try:
        action =  webdriver.ActionChains(driver)
        newPost = False
        var = WebDriverWait ...
        container = driver.find_elements .. #GET THE LIST OF POSTS
        for post in container:
            action.move_to_element(post).perform()
            link = post.find_element(By.TAG_NAME, 'a').get_attribute("href")
            likes = ...
            
            if link not in postData:  #TO CHECK IF ENCOUNTERED NEW POST
                postData[link] = likes
                newPost = True 

        driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")
        sleep(5)

Answer 1

问题在于，您是在变量（container）上循环，该变量随着加载更多的帖子而未更新。特别

container = driver.find_elements ...

是在循环之前运行，因此在向下滚动并加载新帖子时不会更新它。假设您第一次打开网页时，加载了10个帖子，然后container将是10个WebElements的列表。当Python向下滚动并加载更多帖子时，它们不会添加到container中。要解决此问题，您必须使用此逻辑

number_of_posts_to_scrape = 50
for idx in range(number_of_posts_to_scrape):
    container = driver.find_elements .. #GET THE LIST OF POSTS
    post = container[idx]
    action.move_to_element(post).perform()
    link = post.find_element(By.TAG_NAME, 'a').get_attribute("href")
    likes = ...