数据采集

数据采集

文章 26 浏览 745

大家都怎么防采集的,哪一种性能最高?

有不少站都有防采集,一般是 IP 和 cookie,还有 session (会员)1、从 IP 入手一般限制某个时间段内访问的最多次数,超过则出现验证码,弊端是每次…

水溶 2022-09-12 22:56:01 37 0

vue路由变化没有触发hashchange事件。

问题描述 最近项目需要监听vue路由的变化,网上说使用'hashchange'来监听但是,普通跳转并不能触发,只有后退和前进可以触发。 问题出现的环境背景及…

抚笙 2022-09-07 23:46:00 25 0

能否实现网页内容的模式识别?

问题可能不够准确。我假设几个网站作为说明。存在A B C 三个网站,他们都是卖书的。都有一个列表展示每本书的数据。比如名称,价格,作者,日期等。…

做个ˇ局外人 2022-09-05 06:17:07 20 0

php有没有功能完整的网页数据采集开源项目呢

请问有没有开源的工具来采集网页的数据 比如要包含连续规则抓取,例如先抓取分页信息,从中获取详情页,从详情页抓取真正需要的dom字段 包含最后自定…

我还不会笑 2022-09-04 05:17:25 29 0

服务器如何通过app获取用户行为,一般以什么样方式保存

比如腾讯应用宝,用户打开应用或者各种手机操作,app在什么时候收集信息,以什么样的方式以及格式发送数据,服务器又如何解析用户和保存行为数据,从…

养猫人 2022-09-04 00:41:11 22 0

用 nw.js 做数据采集可以吗?比如点击一个按钮,自动打开某个网站,并获取指定数据,再返回自己的网站。

目前只实现到打开网站: nw.Window.open('http://www.qq.com/', {}, (win)=>{ win.showDevTools(); win.on('loaded', function() { // 这一句执行正…

梦幻的心爱 2022-09-03 13:12:20 26 0

求类似58同城的市、区、商圈数据?

求类似58同城的市、区、商圈数据?…

谎言 2022-09-02 12:34:53 17 0

Java控制硬件网络接口采集数据并分发数据需要用到哪些API?

2、软件部分(软硬件):用C#或者java编程,能够控制硬件网络接口采集数据并分发数据。采集的数据能区分用户ip,并根据ip信息归类存储到数据库。能通…

爱格式化 2022-09-01 21:50:37 20 0

几亿条海量数据,比如新浪微博,N亿条微博如何存储?

几亿条海量数据,比如新浪微博,N亿条微博如何存储?…

零度° 2022-09-01 19:33:13 37 0

该选择哪个语言开发爬虫?

需要开发个采集腾讯、新浪微博的评论数据。 如果直接使用官方提供的API,会有很多数据获取不到。所以可能得自己写了。 我主要是想使用C++来开发的,其…

年少掌心 2022-09-01 19:11:41 28 0

scrapy采集小说如何按章节顺序入库呢?

scrapy是异步采集入库的,采集小说如何按章节顺序入库呢? 请大伙提供个思路,或者直接贴代码也行啊,呵呵。。 …

梦里梦着梦中梦 2022-09-01 13:01:37 22 0

关于网站采集内容中大量图片 直接采集到七牛云存储中的方法?有没有

网站内容为采集,过多的图片会很快把空间占用光。有没有方法可以直接将图片采集到七牛,原网站通过url直接访问图片 …

梦行七里 2022-09-01 12:18:18 31 0

用HttpClient做数据采集时的阻塞问题

最近写了个程序采一个网站的信息,第一次。程序涉及到的工具是Java、MySQL、Apache的HttpClient。 HttpClient设置了连接超时、响应超时,都是一分钟…

亚希 2022-09-01 06:21:44 24 0

穷举采集的思路

要采集的URL格式如下 http://域名/日期 + 时间戳.html 日期跟时间戳没有关系,没有列表页,这种只能是穷举url采集么? 求更好的思路。 …

沉鱼一梦 2022-09-01 06:11:18 20 0

Fiddler被拦截

豌豆荚中的信息不能用fiddler查看。 打开代理,豌豆荚就不能用了,关了代理就又好了。 这种情况下该怎么办。用wireshark又太复杂。https协议也看不了…

浪漫人生路 2022-08-31 21:03:32 27 0
更多

推荐作者

已经忘了多久

文章 0 评论 0

15867725375

文章 0 评论 0

LonelySnow

文章 0 评论 0

走过海棠暮

文章 0 评论 0

轻许诺言

文章 0 评论 0

信馬由缰

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文