- 本书赞誉
- 前言
- 目标读者
- 不适合阅读本书的读者
- 本书结构
- 什么是数据处理
- 遇到困难怎么办
- 排版约定
- 使用代码示例
- 致谢
- 第 1 章 Python 简介
- 第 2 章 Python 基础
- 第 3 章 供机器读取的数据
- 第 4 章 处理 Excel 文件
- 第 5 章 处理 PDF 文件 以及用 Python 解决问题
- 第 6 章 数据获取与存储
- 第 7 章 数据清洗:研究、匹配与格式化
- 第 8 章 数据清洗:标准化和脚本化
- 第 9 章 数据探索和分析
- 第 10 章 展示数据
- 第 11 章 网页抓取:获取并存储网络数据
- 第 12 章 高级网页抓取:屏幕抓取器与爬虫
- 第 13 章 应用编程接口
- 第 14 章 自动化和规模化
- 第 15 章 结论
- 附录 A 编程语言对比
- 附录 B 初学者的 Python 学习资源
- 附录 C 学习命令行
- 附录 D 高级 Python 设置
- 附录 E Python 陷阱
- 附录 F IPython 指南
- 附录 G 使用亚马逊网络服务
- 关于作者
- 关于封面
文章来源于网络收集而来,版权归原创者所有,如有侵权请及时联系!
12.4 变化的互联网(或脚本为什么崩溃)
正如你知道的,网页的重新设计、更新的内容管理系统和页面结构的改变(一个新的广告系统、一个新的推荐网络等)是互联网中很正常的一部分。互联网成长并且变化着。因此,你的网页抓取脚本会崩溃。好消息是,有很多的站点只是每年更新一次,或几年改变一次。还有些改变不会影响页面结构(有时样式更新或广告更新不会改变代码的内容和结构)。不要彻底失去希望;很可能你的脚本会工作很长一段时间!
无论怎样,我们不想给你虚假的希望。你的脚本最终会崩溃。总有一天,你会继续运行它,然后发现它不再工作了。当发生这些情况时,给自己一个大大的拥抱,为自己冲一杯茶或咖啡,然后重新开始。
现在你知道了更多关于检验网站上的内容和为报告找出最有用的那部分的方法。你已经有了相当多的代码,大部分仍然能够工作。你现在处在一个好的调试阶段,并且有很多工具任你使用,以找到新的 div 或包含所需数据的表。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论