Question

在开始编程之前，我们首先需要根据项目需求对云起书院网站进行分析。目标是提取小说的名称、作者、分类、状态、更新时间、字数、点击量、人气和推荐等数据。首先来到云起书院的书库（http://yunqi.qq.com/bk ），如图17-1所示。

可以在图书列表中找到每一本书的名称、作者、分类、状态、更新时间、字数等信息。同时将页面滑到底部，可以看到翻页的按钮，如图17-2所示。

接着选其中一部小说点击进去，可以进到小说的详情页，在作品信息里，我们可以找到点击量、人气和推荐等数据，如图17-3所示。

以上将整个云起书院爬虫项目的流程分析完成，编程可以正式开始了。首先在命令行中切换到用于存储项目的路径，然后输入以下命令创建云起书院爬虫项目和爬虫模块：

  scrapy startproject yunqiCrawl
  cd yunqiCrawl
  scrapy genspider -t crawl yunqi.qq.com yunqi.qq.com

图17-1　图书列表

图17-2　翻页按钮

图17-3　小说详情页