Question

从本节开始正式学习Scrapy框架，下面以爬取我的博客（http://www.cnblogs.com/qiyeboy/ ）为例进行介绍，提取所有文章的链接、时间、标题和摘要，如图12-4所示。

图12-4　博客文章信息

在开始爬取之前，必须创建一个新的Scrapy项目。在命令行中切换到要存储的位置，比如D：\cnblogs文件夹，运行命令scrapy startproject cnblogSpider，即可创建一个名为cnblogSpider的项目，如图12-5所示。

图12-5　创建cnblogSpider项目

该命令将会在D：\cnblogs下创建包含下列内容的cnblogSpider目录：

  cnblogSpider
     │  scrapy.cfg
     │
     └─cnblogSpider
       │  items.py
       │  pipelines.py
       │  settings.py
       │  __init__.py
       │
       └─spiders
              __init__.py

cnblogSpider目录下的文件分别是：

·scrapy.cfg：项目部署文件。

·cnblogSpider/：该项目的Python模块，之后可以在此加入代码。

·cnblogSpider/items.py：项目中的Item文件。

·cnblogSpider/pipelines.py：项目中的Pipelines文件。

·cnblogSpider/settings.py：项目的配置文件。

·cnblogSpider/spiders/：放置Spider代码的目录。