文章来源于网络收集而来,版权归原创者所有,如有侵权请及时联系!
6.5 数据存储器
数据存储器主要包括两个方法:store_data(data)用于将解析出来的数据存储到内存中,output_html()用于将存储的数据输出为指定的文件格式,我们使用的是将数据输出为HTML格式。DataOutput.py程序如下:
# coding:utf-8 import codecs class DataOutput(object): def __init__(self): self.datas=[] def store_data(self,data): if data is None: return self.datas.append(data) def output_html(self): fout=codecs.open('baike.html','w',encoding='utf-8') fout.write("<html>") fout.write("<body>") fout.write("<table>") for data in self.datas: fout.write("<tr>") fout.write("<td>%s</td>"%data['url']) fout.write("<td>%s</td>"%data['title']) fout.write("<td>%s</td>"%data['summary']) fout.write("</tr>") self.datas.remove(data) fout.write("</table>") fout.write("</body>") fout.write("</html>") fout.close()
其实上面的代码并不是很好的方式,更好的做法应该是将数据分批存储到文件,而不是将所有数据存储到内存,一次性写入文件容易使系统出现异常,造成数据丢失。但是由于我们只需要100条数据,速度很快,所以这种方式还是可行的。如果数据很多,还是采取分批存储的办法。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论