python爬虫，爬出来和源码不同
求教，爬移民家园的网站，爬不到有效内容，这是为什么，怎么才能爬到具体的帖子内容？（附图是用下面的代码爬下来的内容）import urllib.request url …
python爬虫禅道上周不同人员提的bug数，给定不同参数，返回的结果都是同一个？
学习python爬虫的过程中，想要对禅道上周不同人员提bug数进行统计经过研究，发现这个页面需要先进行post去访问接口，然后再调用get来展示这个页面。我…
Python用Scrapy做爬虫，会绕过selenium不好绕的反扒吗？
Python之前用selenium和和requests写了一些脚本爬淘宝，开始6月先是cookie改版，但是改了也能将就用，后来就是反爬虫用js 检测webdriver……再后来又…
求助 xpath如何匹配多个标签 类似或语法
目标网站：https://mp.weixin.qq.com/s/ECFS_A5JTMB_TvS8AB836Q网站的文字内容在section 和 p 两种标签下匹配结果如下求助 我想同时匹配 这2个标签 应…
Node.js getaddrinfo ENOTFOUND, 请求一个接口, 偶尔会报这个错误.
因为是一个爬虫服务, 所以会请求其他的网站的接口. 用的客户端是 superagent, 偶发的报错 getaddrinfo ENOTFOUND. 报错以后立马重试, 依旧会报这个错…
请问如何在mitmdump的基础上编写python脚本获得request请求
如图如题所示，我按照网上给的代码编写了脚本，但是每次调用时总显示失败，在pycharm上写的时候也没给什么报错，请问是这个编写的脚本代码有问题吗？…
cookie:a=b;c=d;e=f这种格式与cookie:a=b cookie:c=d cookie e=f这种有什么区别吗
抓包的时候发现发送的cookie是这种个格式但是正常来说我之前见过的都是这种所以想问一下，这两种cookie的发送有什么区别吗？如果没有区别的话，为什么…
mitmproxy和gerapy的依赖库冲突该如何解决
用pipenv创建了虚拟环境先安装了mitmproxy库，其中的依赖 cryptography<3.0,>=2.9 (from mitmproxy==5.2->-r 后面又安装gerapy,其中也依赖这个…
scrapy启动后导入自建模块失败，找不到，哪里出了问题？
已经标记源码根了（解除又标记了几次），scrapy项目crawl启动后提示找不到自建的py文件，导入失败，sys.path.append也不行，运行单个py文件却能正常使…
爬取app信息如何更新header？
如题，本菜用charles获取共享汽车evcard app的curl代码，然后用python爬取数据，在爬数据的时候发现每过一段时间就会发现header过期 如成功获取请求的…
python爬虫requests库 无法获得网页上的某个标签的信息
学习爬虫的时候发现自己某个标签无法获得 本人是爬虫初学者,在学习爬取爬虫的时候发现某个标签无法获得,想要爬取的网站叫优书网,网址为https://www.y…
请问用LXML为什么无法爬取到指定网页中的这条信息？
https://www.che168.com/dealer/357032/37286245.html?pvareaid=100519&userpid=0&usercid=0&offertype=0#pos=1#page=1#rtype=10#isrecom=0…
请教如何正则匹配出信息中的两段数字
这几天在爬一点车辆信息/dealer/357032/37286245.html?pvareaid=100519&userpid=0&usercid=0&offertype=0#pos=1#page=1#rtype=10#isrecom=0…
