pyspider检测new_task队列
self._postpone_request = []
def _check_request(self):
'''Check new task queue'''
# check _postpone_request first
todo = []
for task in self._postpone_request:
if task['project'] not in self.projects:
continue
if self.projects[task['project']].task_queue.is_processing(task['taskid']):
todo.append(task)
else:
self.on_request(task)
self._postpone_request = todo
tasks = {}
while len(tasks) < self.LOOP_LIMIT:
try:
task = self.newtask_queue.get_nowait()
except Queue.Empty:
break
if isinstance(task, list):
_tasks = task
else:
_tasks = (task, )
for task in _tasks:
#注:task_verity()是检测传入的task是否缺少某些必要字段,task为一个dict
if not self.task_verify(task): #注:这个continue貌似无关痛痒,为什么要这么做,是正确与否都不影响么?
continue
if task['taskid'] in self.projects[task['project']].task_queue:
if not task.get('schedule', {}).get('force_update', False):
logger.debug('ignore newtask %(project)s:%(taskid)s %(url)s', task)
continue
if task['taskid'] in tasks:
if not task.get('schedule', {}).get('force_update', False):
continue
tasks[task['taskid']] = task
for task in itervalues(tasks):
self.on_request(task)
return len(tasks)
我想求教下大家这里面的for task in _tasks: 下的第一个continue,是无论task检测正确与否都跳到下步么?
还有类似的接下来的两个if 和 continue,貌似都不会对结果产生什么不一样的结果,难道只是为了打个log?
我的意思大概没表达清楚,举个例子:
def A(var):
if var is not None:
continue
if type(var) is not int:
continue
......
return "i am a!"
在函数A中,做了几次实参的判断,但判断结果不会影响其返回(即无论参数是不是我们想要的,都执行下一步),我们作这些判断有什么用呢?我能想到的是在判断的时候加上一个打log的操作,如:
def A(var):
if var is not None:
continue
if type(var) is not int:
logger.error('%s is not int', str(var))
continue
......
return "i am a!"
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
continue 是作用于 for 循环的,作用是跳过当前 item,continue 处理下一个
在第一个例子中,用于参数检测,防止输入错误时,后续代码产生异常(检测失败时后续代码被跳过了)
你的两个例子是不合法的。