如何每次执行脚本时, 把先前的Results清空

Question

想自动抓取一个每天都会更新的网站, 因为资料有立即性, 所以前一天抓取的旧资料可以完全清除,

目前已完成抓取方面的程序, 但不知道要如何才能清除先前在results内所留下的资料, 有办法可以达成吗?

Answer 1

那你就不要存嘛，直接消息队列给你自己的程序。

Answer 2

自问自答:

目前试出了一个可以删除results的方法
在on_start内去删除资料库的table, 用drop似乎会有问题, 所以改用_delete
resultdb = connect_database("sqlite+resultdb:///data/result.db")
resultdb._delete(resultdb._tablename(self.project_name), '1=1')

Answer 3

新建了一个pyspider的交流群 欢迎大家来一起讨论交流 完善pyspider
601113873