文章来源于网络收集而来,版权归原创者所有,如有侵权请及时联系!
3.5 本章小结
本章可能是大家开始学习Scrapy时最重要的一章。你刚刚学习了开发爬虫最基本的方法:UR2IM。你学会了如何自定义适合需求的Item,使用ItemLoader、XPath表达式和处理器加载Item,以及如何对Request使用yield操作。我们使用Request横向到达不同的索引页,纵向到达房源页并抽取Item。最后,我们看到了如何使用CrawlSpider和Rule,以很少的代码行创建非常强大的爬虫。如果你想要更深入地理解这些概念,请尽可能多地阅读本章,当然,也可以在你开发自己的爬虫时使用本章作为参考。
我们刚刚从网站中得到了一些信息。为什么它这么重要呢?我想答案会在下一章中变得明朗起来,在下一章中,通过简单的几页内容,我们将会开发一个简单的手机应用,并使用Scrapy填充其中的数据。我想,结果会令大家印象深刻。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论