返回介绍

3.5 本章小结

发布于 2024-01-30 22:48:37 字数 388 浏览 0 评论 0 收藏 0

本章可能是大家开始学习Scrapy时最重要的一章。你刚刚学习了开发爬虫最基本的方法:UR2IM。你学会了如何自定义适合需求的Item,使用ItemLoader、XPath表达式和处理器加载Item,以及如何对Request使用yield操作。我们使用Request横向到达不同的索引页,纵向到达房源页并抽取Item。最后,我们看到了如何使用CrawlSpider和Rule,以很少的代码行创建非常强大的爬虫。如果你想要更深入地理解这些概念,请尽可能多地阅读本章,当然,也可以在你开发自己的爬虫时使用本章作为参考。

我们刚刚从网站中得到了一些信息。为什么它这么重要呢?我想答案会在下一章中变得明朗起来,在下一章中,通过简单的几页内容,我们将会开发一个简单的手机应用,并使用Scrapy填充其中的数据。我想,结果会令大家印象深刻。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文