Question

WebMagic 项目代码分为核心和扩展两部分。核心部分(webmagic-core) 是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。WebMagic 的架构设计参照了 Scrapy，目标是尽量的模块化，并体现爬虫的功能特点。

这部分提供非常简单、灵活的 API，在基本不改变开发模式的情况下，编写一个爬虫。

扩展部分(webmagic-extension) 提供一些便捷的功能，例如注解模式编写爬虫等。同时内置了一些常用的组件，便于爬虫开发。

另外 WebMagic 还包括一些外围扩展和一个正在开发的产品化项目 webmagic-avalon 。