关于Heritrix的处理器链和Processor的疑问

发布于 2021-11-19 05:57:56 字数 5237 浏览 927 评论 2

在ToeThread的processCrawlUri()方法中

private void processCrawlUri() throws InterruptedException {
   // 设定当前线程的编号
   currentCuri.setThreadNumber(this.serialNumber);
   // 为当前处理的URI设定下一个ProcessorChain

currentCuri.setNextProcessorChain(controller.getFirstProcessorChain());

   // 设定开始时间
   lastStartTime = System.currentTimeMillis();
   try {

      // 如果还有一个处理链没处理完
      while (currentCuri.nextProcessorChain() != null)
      {
         setStep(STEP_ABOUT_TO_BEGIN_CHAIN);

         // 将下个处理链中的第一个处理器设定为
         // 下一个处理当前链接的处理器
         currentCuri.setNextProcessor(currentCuri
                                      .nextProcessorChain().getFirstProcessor()
);
         // 将再下一个处理器链设定为当前链接的
         // 下一个处理器链，因为此时已经相当于
         // 把下一个处理器链置为当前处理器链了
         currentCuri.setNextProcessorChain(currentCuri
                                      .nextProcessorChain().getNextProcessorCha
in());

         // 开始循环处理当前处理器链中的每一个Processor
         while (currentCuri.nextProcessor() != null)
         {
            setStep(STEP_ABOUT_TO_BEGIN_PROCESSOR);
            Processor currentProcessor =
getProcessor(currentCuri.nextProcessor());
            currentProcessorName = currentProcessor.getName();
            continueCheck();
            // 调用Process方法
            currentProcessor.process(currentCuri);
         }
      }
      setStep(STEP_DONE_WITH_PROCESSORS);
      currentProcessorName = "";
   }
   catch (RuntimeExceptionWrapper e) {
       // 如果是Berkeley DB的异常
       if(e.getCause() == null) {
           e.initCause(e.getDetail());
       }
       recoverableProblem(e);
   } catch (AssertionError ae) {
       recoverableProblem(ae);
   } catch (RuntimeException e) {
       recoverableProblem(e);
   } catch (StackOverflowError err) {
       recoverableProblem(err);
   } catch (Error err) {
       seriousError(err);
   }
}