python爬虫

python爬虫

文章 460 浏览 23

爬虫本地跑有数据 服务器跑无数据

问题描述 1.在本地跑(windows系统),数据正常2.在本地跑(Ubantu虚拟机),数据正常3.然后放到内网的服务器,也返回了数据但是关键数据全是空4.放…

牵你的手,一向走下去 2022-09-12 03:02:37 15 0

Python webdriver 对象怎么一直在最前呢?

在 selenium 库中的 webdriver 对象怎么让他一直在最前呢? 我有台电脑运行 webdriver 对象的时候, 浏览器窗口一直在后面,也不知道怎么回事。 请问…

春风十里 2022-09-12 02:59:16 18 0

python3 执行js出错

这是js代码 由于代码混淆了 要分析出来/thread-354129-1-1.html?_dsign=3183fa78这个链接 我用别的软件调试了js代码没问题 不知道为什么python执行了…

三生殊途 2022-09-12 02:55:30 21 0

如何爬取使用silverlight的网页

问题描述 如图,本人打算爬取中国环境总站的数据,但是一打开就提示要安装silverlight。我已经安装了,每次打开还提示要安装。。。假设windows环境可…

素衣风尘叹 2022-09-12 02:54:35 19 0

python爬虫多线程运行出错,但是单独函数成功

问题描述 1.使用thread运行自己的craw函数,craw函数里面用get_info获取信息,但是打印出错(get_info里面except打印出错) 可是将出错的url,单独拿…

温柔女人霸气范 2022-09-12 02:45:53 17 0

爬虫抓取多页数据保存到csv怎么会存在多个表头?请各位大佬指点一下 谢谢

这是代码,共抓取了12页的数据 这是存入csv中的情况,一共12页每一页都有一个表头,如何让它存入到csv中的时候只有一个表头 请大家帮忙解决 谢谢 …

痴情 2022-09-12 02:44:06 12 0

python2如何在多行字符串中匹配关键词并取出下一行数据?

比如我有一个这样的str 111aaa222bbb333ccc 我想根据数字来取出它下一行的字母,并分别储存起来,请各位前辈指教。 …

煮茶煮酒煮时光 2022-09-12 02:43:00 14 0

关于卫健委官网爬取规范性文件

求问各位,我尝试在卫健委官网http://www.nhc.gov.cn/wjw/gfx...爬取发布规范性文件的文件名,先通过requests,之后通过xpath解析, 然后再进入详情页…

じее 2022-09-12 02:42:03 15 0

如何用re库匹配键值对,或者直接提取键值对key所对应的value。

匹配出"mp4_ld_mp4"后边的链接内容试了好久都匹配不出来,求大佬帮忙解决。 "urls": { "mp4_720p_mp4": "http://f.video.weibocdn.com/002tYBjXgx07C…

嘴硬脾气大 2022-09-12 02:29:34 18 0

【Python爬虫】如何利用pypinyin模块将汉字转为拼音后连接至网址中?

如何利用pypinyin模块将汉字转为拼音后连接至网址中?如图…

可可 2022-09-12 02:27:36 23 0

scrapy怎么实现自定爬取深度?

我想实现对一个网址的图片进行下载,然后对该网址里面所有a标签的链接页面的图片进行下载,以此类推,这是我写的代码,求教大佬怎么做到在spider里用…

夜夜流光相皎洁 2022-09-12 02:12:17 29 0

xpath过滤元素怎么写

python新手,问题比较初级,各位大佬轻喷。需要爬点数据,有个xpath问题请教下各位大佬,如下面html代码所示,有标签就获取它内部文本,没有就获取内…

影子是时光的心 2022-09-12 02:06:04 17 0

为什么requests能访问到的页面,而使用scrapy就访问不到?

我在爬取亚马逊的时候遇到一个很奇怪的问题,就是我的scrapy框架在爬取某一页面的时候会弹出验证码。 而我通过requests库直接爬取的时候,一切都正常…

毁梦 2022-09-12 01:55:07 21 0

Python3 requests 通过代理抓取数据出错

我准备通过代理来爬取信息,测试代理是类似下面的 for p in proxies: print(p) s = requests.session() url = "https://mail.163.com/" s.keep_alive…

扭转时空 2022-09-12 01:48:01 21 0

Scrapy一个非常奇怪的问题 利用scrapy shell访问得到的网页与用浏览器访问不一致

如图 利用xpath对该链接定位提取url调用yield进行下一步的爬取scrapy shell然后用xpath定位得到的网址是P2点进去是P4利用浏览器访问得到的页面是P3也…

橘虞初梦 2022-09-12 01:44:17 31 0
更多

推荐作者

已经忘了多久

文章 0 评论 0

15867725375

文章 0 评论 0

LonelySnow

文章 0 评论 0

走过海棠暮

文章 0 评论 0

轻许诺言

文章 0 评论 0

信馬由缰

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文