网页爬虫

网页爬虫

文章 1.0k 浏览 268

java xpath 报错求指教,字符串报错

package main; import com.company.mingspider; import org.dom4j.DocumentException; import org.dom4j.Node; import org.dom4j.io.SAXReader; impor…

明媚如初 2022-09-12 13:06:45 14 0

求问 这个网页中视频的链接如何获取到

想要抓取 这个网站中的视频https://tv.cctv.com/2020/10/2...但是在网站中的视频链接处 找不到原视频地址…

初见你 2022-09-12 13:03:50 36 0

Python程序中变量作用范围应该如何理解?

初学Python,自己尝试着写了一个爬虫,主要代码如下import json import scrapy from bs4 import BeautifulSoup from docx import Document from docx.…

爱的那么颓废 2022-09-12 13:02:34 17 0

C++后端进阶资料,这个站点用什么制作的?

http://balloonwj.gitee.io/cpp...…

白云悠悠 2022-09-12 12:55:25 18 0

CLI 应用,对于较复杂的用户定义逻辑,如何处理更优?

场景:爬取小说 完整代码:https://github.com/ForkFG/Ter...fetch: async(page) => { page = page ?? args[1] if (!page) Err("fetch: Page can't be…

踏雪无痕 2022-09-12 04:51:57 29 0

python爬虫,爬出来和源码不同

求教,爬移民家园的网站,爬不到有效内容,这是为什么,怎么才能爬到具体的帖子内容?(附图是用下面的代码爬下来的内容)import urllib.request url …

沫离伤花 2022-09-12 04:50:55 33 0

Python多线程如何保证线程同步?

在我使用多线程的过程中,返回的结果有很多重复和缺少,我个人认为是因为线程资源不同步导致的,请问如何修改代码实现同步,和不要出现重复?是使用生…

固执像三岁 2022-09-12 04:50:48 16 0

求助,异步加载中,#document内的元素如何定位

爬取一个网站,动态加载的,点击“更多”会出现数据,解析时发现里面嵌套了两个#document,如图,我想爬取的数据在第二个#document里面,但是里面包含…

書生途 2022-09-12 04:44:08 29 0

求助,python爬虫解析html定位不到标签

想定位class为j_th_tit 的"a"标签,但是返回为空,是哪里写错了吗?万分感谢,代码和截图附上from bs4 import BeautifulSoup import urllib.request f…

不可一世的女人 2022-09-12 04:41:58 19 0

node的request下载文件成功,但实际大小只有190字节?

问题描述用puppeteer和request模块批量下载mp3,遇到这样的情况——例如一个文件大小有10mb,控制台输出下载成功后,实际文件大小只有190字节,而且存…

影子是时光的心 2022-09-12 04:29:41 17 0

php正则提取html问题,当div有多个class时怎么提取指定类名的div标签里的内容?

$str = 'qwe666123name9665word';/ 以下正则提取不到div里的内容 /$regex="/.*?/ism";$regex="/.*?/ism";$regex="/.*?/ism";preg_match_all($regex,$s…

帥小哥 2022-09-12 04:22:31 14 0

requirements.txt里的依赖为什么是==

如题,刚入门python,对于requirements.txt有很多不解,这里的依赖包怎么才像node里的packagejson那样安装一个就记录一个,还是说只能安装完后再记录…

美人如玉 2022-09-12 04:21:45 25 0

换服务器后scrapy项目运行不了,yield不能发起第三层链接的Request, 报错StopIteration

我的一个爬虫项目在阿里服务器上Win2012系统运行了半年了,但换了腾讯服务器后换了Win10系统版本不一样,代码就运行不了。我把代码缩减到最简单的形式…

桃扇骨 2022-09-12 04:19:30 25 0

求助 xpath如何匹配多个标签 类似或语法

目标网站:https://mp.weixin.qq.com/s/ECFS_A5JTMB_TvS8AB836Q网站的文字内容在section 和 p 两种标签下匹配结果如下求助 我想同时匹配 这2个标签 应…

定格我的天空 2022-09-12 04:16:37 20 0
更多

推荐作者

已经忘了多久

文章 0 评论 0

15867725375

文章 0 评论 0

LonelySnow

文章 0 评论 0

走过海棠暮

文章 0 评论 0

轻许诺言

文章 0 评论 0

信馬由缰

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文