网页爬虫

网页爬虫

文章 1.0k 浏览 268

关于Python selenium模块

在Python里安装了selenium模块,可是在调用该模块时,调用不了webdriver这个方法,报错结果如图,文件名也没有纯在和模块同名的原因,求大神指点!!…

喜你已久 2022-09-12 22:07:59 28 0

请教,django中 如何向带有外键(一对多和多对多)数据库中批量插入数据?

请教,自己采集了一些数据,想批量插入到django中,Models模型代码如下,我想把采集的数据批量插入到 文章信息表DetailInfo中,因为DetailInfo表中涉…

烛影斜 2022-09-12 14:04:11 29 0

'NoneType' object has no attribute 'strip'?

html是这样的: '5 - 7' ::after ::after ::after 运行以下程序:info_list = [] table = tree.xpath('//table[@class="market_table_content"]')[0] …

说好的呢 2022-09-12 13:58:48 27 0

python requests怎么解决url中../自动跳目录的问题?

import requests burp0_url = "http://127.0.0.1:80/../../../../a" burp0_headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Ap…

掌心的温暖 2022-09-12 13:53:10 46 0

为什么同样的两个请求网址,一个有响应内容另一个却没有呢?

如图:两个相同的请求网址,一个有响应内容,而另一个却没有,这是为什么呢?而且把请求地址用浏览器打开也只是返回{"ok":0}…

唯憾梦倾城 2022-09-12 13:51:46 37 0

nodejs代理采集找不到资源

const http = require("http");const cheerio = require("cheerio");const iconv = require('iconv-lite');const BufferHelper = require('bufferhelp…

十秒萌定你 2022-09-12 13:51:03 21 0

lxml如何处理内容带html标签的元素?

写爬虫的时候,遇到一个元素,其text里面是html格式:获取这个元素的text_content(),lxml就傻了,出来一大堆东西:它不能识别出这是内容文本,所以不…

巷子口的你 2022-09-12 13:49:28 36 0

java 爬虫正则的问题

String Match=""(https://www.tianyancha.com/company/d+)" target='_blank'"; Pattern pattern=Pattern.compile(Match); Headers.put("user-agent", …

放我走吧 2022-09-12 13:42:37 24 0

为什么这个爬虫一直412

https://www.12309.gov.cn/gj/s...就是这个网址cookie ,header 代理 ,selenium 能用的方法全都用了,全都是 412 ,有没有大佬点拨一下 有哥们让我贴…

明明#如月 2022-09-12 13:38:26 13 0

java发送post form_data请求

List headers = new ArrayList(); headers.add(new BasicHeader("User-Agent", "Mozilla/5.0(Windows NT 6.1;Win64; x64; rv:50.0) Gecko/20100101 Fi…

失去的东西太少 2022-09-12 13:38:20 27 0

requests用IP直连时无法用代理怎么办?

代码如下,运行报错404,但是去掉代理proxies参数就可以正常访问了。proxies = { 'http': 'http://' + "{}:{}".format(proxy['IP'], proxy['Port']), …

咋地 2022-09-12 13:37:18 27 0

爬虫之Preview

请问下,使用火狐访问网站,图中没有preview但是使用Microsoft Page浏览器访问网站,可以看到preview请问这个是是什么原因…

笔芯 2022-09-12 13:36:00 22 0

colly:invalid memory address or nil pointer dereference

今天用colly写了个demo,下面是代码func downloadImages(e *colly.HTMLElement) { srcRef := destUrl + e.Attr("src") res, _ := http.Get(srcRef) if …

旧时光的容颜 2022-09-12 13:34:53 20 0

抓包找到一串bytes的数据怎么解读(求大侠)

想这样的一串数据怎么解读百度一天也不知道怎么搞求大侠,另外我想用php模拟数据怎么该怎么弄486 bytes670BBD069D4F989418BAF9FDE5CC2B4E21FDF1F3044E7…

不甘平庸 2022-09-12 13:27:22 16 0
更多

推荐作者

已经忘了多久

文章 0 评论 0

15867725375

文章 0 评论 0

LonelySnow

文章 0 评论 0

走过海棠暮

文章 0 评论 0

轻许诺言

文章 0 评论 0

信馬由缰

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文