pyspider一下生成几千条链接爬取是否合适

Question

如题，在on_start()的时候直接调用key_word_rank_page()生成几千条链接，并调用self.crawl。在调试的时候没问题，但是实际运行的时候代码跑一会就不动了，数据库就没有数据写入了，taskdb库也看到这个工程的task条数没有增长

    @every(minutes=24 * 60)
    def on_start(self):
        self.key_word_rank_page()
        pass
    
    
    
    def key_word_rank_page(self):
        i = 0; page 参数从0开始的
        while i <= 3000: 
            keywordrank_url = "https://www.douban.com/more/getmore.html?page=%s&genreIds="%(i)
            self.crawl(url=keywordrank_url, callback=self.process_keyword) 
            
            i += 1;
        pass

Answer 1

你需要在web界面点开Active Tasks 看看到底卡在哪里。几千条链接一点问题都没有，几万我都干过。