pyspider检测new_task队列

发布于 2022-09-05 19:28:15 字数 2118 浏览 12 评论 0

self._postpone_request = []

def _check_request(self):
    '''Check new task queue'''
    # check _postpone_request first
    todo = []
    for task in self._postpone_request:
        if task['project'] not in self.projects:
            continue
        if self.projects[task['project']].task_queue.is_processing(task['taskid']):
            todo.append(task)
        else:
            self.on_request(task)
    self._postpone_request = todo

    tasks = {}
    
    while len(tasks) < self.LOOP_LIMIT:
        try:
            task = self.newtask_queue.get_nowait()
        except Queue.Empty:
            break
        
        if isinstance(task, list):
            _tasks = task
        else:
            _tasks = (task, )

        for task in _tasks:
            #注:task_verity()是检测传入的task是否缺少某些必要字段,task为一个dict
            if not self.task_verify(task):     #注:这个continue貌似无关痛痒,为什么要这么做,是正确与否都不影响么?
                continue

            if task['taskid'] in self.projects[task['project']].task_queue:
                if not task.get('schedule', {}).get('force_update', False):
                    logger.debug('ignore newtask %(project)s:%(taskid)s %(url)s', task)
                    continue

            if task['taskid'] in tasks:
                if not task.get('schedule', {}).get('force_update', False):
                    continue

            tasks[task['taskid']] = task

    for task in itervalues(tasks):
        self.on_request(task)

    return len(tasks)

我想求教下大家这里面的for task in _tasks: 下的第一个continue,是无论task检测正确与否都跳到下步么?
还有类似的接下来的两个if 和 continue,貌似都不会对结果产生什么不一样的结果,难道只是为了打个log?

我的意思大概没表达清楚,举个例子:

def A(var):
    if var is not None:
        continue
    if type(var) is not int:
        continue
    ......
    return "i am a!"

在函数A中,做了几次实参的判断,但判断结果不会影响其返回(即无论参数是不是我们想要的,都执行下一步),我们作这些判断有什么用呢?我能想到的是在判断的时候加上一个打log的操作,如:

def A(var):
    if var is not None:
        continue
    if type(var) is not int:
        logger.error('%s is not int', str(var))
        continue
    ......
    return "i am a!"

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

染火枫林 2022-09-12 19:28:15

continue 是作用于 for 循环的,作用是跳过当前 item,continue 处理下一个

在第一个例子中,用于参数检测,防止输入错误时,后续代码产生异常(检测失败时后续代码被跳过了)
你的两个例子是不合法的。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文