随着时间的推移递归递归回调

Question

我想刮擦一个网站，该网站每5分钟删除给定网页的信息。我通过在递归回调之间添加5分钟的睡眠时间来实现这一点，但是

    def _parse(self, response):

        status_loader = ItemLoader(Status())

        # perform parsing        

        yield status_loader.load_item()


        time.sleep(5)
        yield scrapy.Request(response._url,callback=self._parse,dont_filter=True,meta=response.meta)

，将时间添加时间 。出于某种原因，废纸确实发送了请求，但是收益项并未（或很少）输出到给定的输出文件。

我当时认为这与废弃的请求优先级有关，这可能优先于发送新请求而不是产生刮擦物品。会这样吗？我试图编辑设置，从深度优先的队列转到广度优先的队列。这无法解决问题。

我如何在给定的时间间隔刮擦网站，假设5分钟？

Answer 1

它行不通，因为scrapy默认情况下是异步的。

尝试设置这样的玉米作业 -

import logging
import subprocess
import sys
import time

import schedule


def subprocess_cmd(command):
    process = subprocess.Popen(command, stdout=subprocess.PIPE, shell=True)
    proc_stdout = process.communicate()[0].strip()
    logging.info(proc_stdout)


def cron_run_win():
    # print('start scraping... ####')
    logging.info('start scraping... ####')
    subprocess_cmd('scrapy crawl <spider_name>')


def cron_run_linux():
    # print('start scraping... ####')
    logging.info('start scraping... ####') 
    subprocess_cmd('scrapy crawl <spider_name>')


def cron_run():
    if 'win' in sys.platform:
        cron_run_win()
        schedule.every(5).minutes.do(cron_run_win)

    elif 'linux' in sys.platform:
        cron_run_linux()
        schedule.every(5).minutes.do(cron_run_linux)

    while True:
        schedule.run_pending()
        time.sleep(1)


cron_run()

根据您正在使用的OS，这将每5分钟运行您所需的蜘蛛