scrapy爬虫，点击商品后url链接发生改变，我该如何去爬取改变的url
我在爬取苏宁易购商品时发现。当点击进入商品详情页时，url链接会发生改变，而且改变的url才是正确的，我该怎么去爬取这个链接，请大家告诉我具体的…
用scrapy尝试爬取游戏饰品价格的爬虫 数据没有写入到数据库
用scrapy尝试爬取游戏饰品价格的爬虫，在setting文件配置好的情况下（pipeline=300），似乎pipeline不能连接到数据库（因为连简单的插入语句也不能成…
python 删除文件后，运行其它文件一直报错
最近在学习python，下午把之前一直练习一的一个文件夹删除了，重新建了文件夹，在新的文件夹里写一些例子，在运行时一直报这样的错误： C:\Users\adm…
Scrapy 如何在pipelines中获取爬虫名？
需要在Pipeline获取到当前运行的爬虫name spider.py class Spider(scrapy.Spider): name = "xxxx" pipelines.py class spiderPipeline(object): def …
scrapy 如何爬带有地图的的url
简单说下需求，https://www.glprop.com.cn/our...这个网站，我想获取网站里面的所有物流园区的地址分布信息，然后获取详情信息，但是这些数据全部镶嵌…
程序运行成功但没有生成文档；
import requestsimport reheaders={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029…
anaconda pycharm无法导入ssl模块
我安装anaconda，和Python虚拟环境，也pip安装了ssl。 但是pycharm里一直无法导入ssl模块，导致不能爬https网站。咋解决呢？ …
pyspider在python3.7中使用async关键字，到底如何解决？？？
在python3.7中，pyspider使用了关键字async,到底该怎么解决？？？不希望降级python版本。我把pyspider包中的async全部改为了async_，但是还是报错，…
Python爬取FAERS数据报错
问题描述 使用luigi框架爬取faers数据报错，IDE为pycharm 错误信息为 No task specified Process finished with exit code 1 2.源代码 import os imp…
scrapy 不能提取下一页
问题描述 不能获取下一页 相关代码 // 请把代码文本粘贴到下方（请勿用图片代替代码） import scrapyfrom qsbk.items import QsbkItemfrom scrapy.ht…
scrapy运行过程中报错，ModuleNotFoundError: No module named 'pymongo'
我直接运行单文件，并没有导入错误，此外，我单独在py文件中使用mongodb也正常，但是在scrapy项目中运行，会说导入失败，这是为什么？ import json i…
