python爬虫

python爬虫

文章 460 浏览 26

scrapy爬虫,点击商品后url链接发生改变,我该如何去爬取改变的url

我在爬取苏宁易购商品时发现。当点击进入商品详情页时,url链接会发生改变,而且改变的url才是正确的,我该怎么去爬取这个链接,请大家告诉我具体的…

自由范儿 2022-09-11 20:20:53 15 0

PySpider如何去重?

请问pyspider如何对某一个抓取值去重,不是url去重比如我抓了很多文章,同样文章标题的不去抓取,过滤掉请问怎么怎么设置,谢谢…

踏月而来 2022-09-11 19:53:32 21 0

用scrapy尝试爬取游戏饰品价格的爬虫 数据没有写入到数据库

用scrapy尝试爬取游戏饰品价格的爬虫,在setting文件配置好的情况下(pipeline=300),似乎pipeline不能连接到数据库(因为连简单的插入语句也不能成…

送舟行 2022-09-11 19:42:45 25 0

python 删除文件后,运行其它文件一直报错

最近在学习python,下午把之前一直练习一的一个文件夹删除了,重新建了文件夹,在新的文件夹里写一些例子,在运行时一直报这样的错误: C:\Users\adm…

南风几经秋 2022-09-11 19:35:44 17 0

scrapy框架 xpath语法的一些疑问

在看《精通python爬虫框架scrapy》的时候遇到一些小疑问。首先需要说明一下,下面的爬虫是针对同一个示例页面的。 书中的示例代码如下,首先定义了项…

提笔落墨 2022-09-11 19:33:36 31 0

Scrapy 如何在pipelines中获取爬虫名?

需要在Pipeline获取到当前运行的爬虫name spider.py class Spider(scrapy.Spider): name = "xxxx" pipelines.py class spiderPipeline(object): def …

在巴黎塔顶看东京樱花 2022-09-11 19:29:40 19 0

scrapy 如何爬带有地图的的url

简单说下需求,https://www.glprop.com.cn/our...这个网站,我想获取网站里面的所有物流园区的地址分布信息,然后获取详情信息,但是这些数据全部镶嵌…

玩套路吗 2022-09-11 19:27:58 20 0

程序运行成功但没有生成文档;

import requestsimport reheaders={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029…

天煞孤星 2022-09-11 18:51:46 18 0

anaconda pycharm无法导入ssl模块

我安装anaconda,和Python虚拟环境,也pip安装了ssl。 但是pycharm里一直无法导入ssl模块,导致不能爬https网站。咋解决呢? …

烟雨扶苏 2022-09-11 18:49:59 25 0

恩,关于用phantomjs和selenium去爬动态页面,显示不出完整html的问题

不能获取到js动态生成的页面元素…

你在我安 2022-09-11 18:47:45 27 0

前端程序员开发爬虫,用puppeteer,还是学用python爬虫?那个性价比更高?

前端程序员开发爬虫,用puppeteer,还是学用python爬虫?那个性价比更高?…

坐在坟头思考人生 2022-09-11 18:47:06 24 0

pyspider在python3.7中使用async关键字,到底如何解决???

在python3.7中,pyspider使用了关键字async,到底该怎么解决???不希望降级python版本。我把pyspider包中的async全部改为了async_,但是还是报错,…

因为看清所以看轻 2022-09-11 18:23:01 41 0

Python爬取FAERS数据报错

问题描述 使用luigi框架爬取faers数据报错,IDE为pycharm 错误信息为 No task specified Process finished with exit code 1 2.源代码 import os imp…

痴情 2022-09-11 17:57:28 31 0

scrapy 不能提取下一页

问题描述 不能获取下一页 相关代码 // 请把代码文本粘贴到下方(请勿用图片代替代码) import scrapyfrom qsbk.items import QsbkItemfrom scrapy.ht…

姐不稀罕 2022-09-11 17:53:10 18 0

scrapy运行过程中报错,ModuleNotFoundError: No module named 'pymongo'

我直接运行单文件,并没有导入错误,此外,我单独在py文件中使用mongodb也正常,但是在scrapy项目中运行,会说导入失败,这是为什么? import json i…

紫南 2022-09-11 17:50:53 17 0
更多

推荐作者

qq_VRzBBA45

文章 0 评论 0

痴情

文章 0 评论 0

文章 0 评论 0

Mu.

文章 0 评论 0

凉薄对峙

文章 0 评论 0

不落城

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文