- 本书赞誉
- 前言
- 目标读者
- 不适合阅读本书的读者
- 本书结构
- 什么是数据处理
- 遇到困难怎么办
- 排版约定
- 使用代码示例
- 致谢
- 第 1 章 Python 简介
- 第 2 章 Python 基础
- 第 3 章 供机器读取的数据
- 第 4 章 处理 Excel 文件
- 第 5 章 处理 PDF 文件 以及用 Python 解决问题
- 第 6 章 数据获取与存储
- 第 7 章 数据清洗:研究、匹配与格式化
- 第 8 章 数据清洗:标准化和脚本化
- 第 9 章 数据探索和分析
- 第 10 章 展示数据
- 第 11 章 网页抓取:获取并存储网络数据
- 第 12 章 高级网页抓取:屏幕抓取器与爬虫
- 第 13 章 应用编程接口
- 第 14 章 自动化和规模化
- 第 15 章 结论
- 附录 A 编程语言对比
- 附录 B 初学者的 Python 学习资源
- 附录 C 学习命令行
- 附录 D 高级 Python 设置
- 附录 E Python 陷阱
- 附录 F IPython 指南
- 附录 G 使用亚马逊网络服务
- 关于作者
- 关于封面
文章来源于网络收集而来,版权归原创者所有,如有侵权请及时联系!
6.1 并非所有数据生而平等
对于遇到的每一个数据集,尽管我们愿意相信其真实性和数据质量,但并非所有数据都能符合我们的预期。即使是你目前使用的数据集,在深入研究之后也可能是无用且无效的数据源。对于你面临的数据处理问题,在寻求自动化解决方案时,你会发现 Python 工具可以帮你分辨好数据和坏数据,还可以帮你评价数据的可用性。第 7 章和第 8 章会讲到用 Python 做数据清洗和数据探索,第 14 章会讲到自动化,在这些章节里我们都会介绍关于这些工具的更多内容。
刚刚得到新数据时,我们建议做一个数据气味测试,测试该数据是否是可靠的信息源,并决定是否信任该数据。你可以问问自己以下几个问题。
· 如果我有问题或疑虑的话,能够联系上作者本人吗?
· 数据是否定期检查错误并更新?
· 数据里是否包含数据获取方法的信息,是否包含数据获取过程中使用的样本类型?
· 有没有其他数据源可以验证这个数据集?
· 根据我对这个话题了解的所有知识,数据看起来是否可信?
如果你对至少三个问题的回答都是“是”,这说明你走对路了!如果至少对两个问题的回答是“否”,你可能需要花更多时间寻找可靠的数据。
你可能需要联系最初采集数据并发布的作者或机构,以寻求更多信息。通常情况下,给合适的人打电话或发电子邮件,可以帮你回答上面至少一个问题,并验证数据源的可靠性。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论