pyspider mongodb 插入结果报错
爬取过程中遇到如下问题： [I 160115 16:07:55 scheduler:671] task done douban:365c9df4123aa5e6969ffaa68c3de8a8 http://www.douban.com/note/388…
pyspider mongodb onresult 报错
如题，按照网上的例子写了个on_result,如下 def on_result(self, result): con=MongoClient('mongodb://localhost:27017') resultdb=con.spider resu…
pyspider +mongodb 多个爬虫 result 如何指定 collection 名称
如题，我现在需要爬取多个网站的内容，但是结果结构是一样的。现在的配置resultdb 是一个db，每个爬虫的结果分别是不同的集合。而我想把这些结果保存…
单机版的 pyspider工程 部署到 Pass平台上，能运行起来么？
手上现在用 pyspider 框架在做个爬虫项目，现在只是在单机上实现了爬取。请问： 单机版的 pyspider工程 可以部署到 Paas平台上么？能运行起来么？ 烦…
linux pyspider 任务管理和在线编辑运行是用什么库做的？
现在我想非常想要pyspider的定时任务管理和在线脚本编写运行的功能，不需要使用到它的爬虫功能，请问pyspider中能够抽离出这样的功能么？具体要怎么做…
在Ubuntu14.01环境下安装pyspider报错
使用pip install pyspider命令来安装，结果出现报错。二进制依赖包夜正常安装了。异常如图所示 我是用的虚拟机安装的Ubuntu14.04的 …
关于pyspider(Docker)的各个组成部分
老大，我看这个文档--Running pyspider with Docker，有个问题不太明白。 如果只是想搭建个数据库+pyspider的这种组合，是不是下面这样就可以了 # my…
pyspider 里 pyquery的 map方法 映射的返回值 无效导致单页能调试通，整体采集不到数据?
昨天用 pyspider 采集 汽车之家网 的 汽车详情页数据，因为他一条记录是table 中的某一列，所以需要用到遍历td，索引取当前列。找了半天 没实现jq的 …
XMLSyntaxError
这个问题不知道是lxml的问题还是哪的问题，网上搜了下，没有任何头绪。 http://demo.pyspider.org/debug/test_XMLSyntaxError 只填写了on_start函数…
pyspider +mongodb 部署有问题
如题 pyspider -c config.json 后报错： [W 151225 17:29:08 run:398] phantomjs not found, continue running without it. [I 151225 17:29:10 resu…
pyspider win7 connect to scheduler rpc error:
新手在本地运行pyspider 在 UI 里面 创建project，但是执行的时候老是报： connect to scheduler rpc error: error(10061, '') 问了下有些人说是要装…
成功安装pyspider以后,本地使用就会出现错误
连最基本的例子都运行不了···自己写的爬虫感觉不好，应付了作业以后想学一个爬虫框架 python3.4 用pip3命令安装了pyspider以后，可以登录网络UI但是…
