使用硒从Twitter提取推文

Question

大家好，我对从Twitter提取推文的问题有一个问题向下滚动页面不能加载新的推文并停止滚动，并且没有新的推文

当我设置n = 1000时，他的工作正常，但是当他到达600或400滚动时，滚动停止且没有推文出现 如果有人能帮助我，我会很高兴 多谢
我的代码是：

def scrap_tweets_without(url,no_scroll):
    drive = webdriver.Chrome(r'C:\selinum\chromedriver.exe')
    drive.get(url)
    ################################################## 
    ################## GET   SUCCES ##################
    ##################################################
    texts = []

    time.sleep(3)        

    # Start Scroll Tweets
    for i in tqdm.tqdm(range(no_scroll)):
        ## scroll down 
        SCROLL_PAUSE_TIME = 0.3

        # Get scroll height
        drive.execute_script("window.scrollBy(0,200)", "")


        # Wait to load page
        time.sleep(SCROLL_PAUSE_TIME)
        try:
            # Get Group of Tweets
            tweets = drive.find_elements_by_xpath('//div[@data-testid="tweetText" and @lang="ar"]')
        
            # Insert Tweet in the List 
            for tx in tweets:
                if tx.text not in texts:
                    texts.append(tx.text)
        except:
            pass
    return texts

url ='https://twitter.com/search?q="جمال علام"&src=trend_click&pt=1535911024460718080&vertical=trends'
data = scrap_tweets_without(url,1000)

Selenuim浏览器的此屏幕600后向下滚动页面滚动的滚动不能超过更多，这给我带来了450条推文，我相信，一个主题标签或搜索页面中有400条的推文，如果有人可以帮助您，为什么页面可以加载更多

Answer 1

在许多消息来源进行搜索之后，我发现我的问题是Twitter知道我是一个Selunuim机器人，而不是用户，所以请在向下滚动时停止加载更多的推文，所以添加此功能，这对我有帮助

def initilaize_driver():
    options = webdriver.ChromeOptions()
    header = Headers().generate()['User-Agent']
    options.add_argument('--headless')  # runs browser in headless mode
    options.add_argument('--no-sandbox')
    options.add_argument("--disable-dev-shm-usage")
    options.add_argument('--ignore-certificate-errors')
    options.add_argument('--disable-gpu')
    options.add_argument('--log-level=3')
    options.add_argument('--disable-notifications')
    options.add_argument('--disable-popup-blocking')
    options.add_argument('--user-agent={}'.format(header))
   
    drive =webdriver.Chrome(executable_path=ChromeDriverManager().install(),
                        options= options, )
    drive = webdriver.Chrome(r'C:\selinum\chromedriver.exe')
    return drive