第 7 页 - WebMagic - 文江博客

投稿关注

WebMagic

文章 155 浏览 208

文档页面效果是怎么做的啊？

Yihua Huang，您好，我在图书馆工作，请问http://webmagic.io/docs/zh/ 这个页面读书的效果是用什么做的啊？非常适合电子书阅读。。。非常感谢！ …

一个人的旅程 2021-11-27 03:08:58 875 0

webmagic 能部署到 bae or sae 去吗？

webmagic 能部署到 bae or sae 去吗？…

泪冰清 2021-11-27 00:18:38 779 0

webmagic登陆爬取问题请教！

关于webmagic登陆爬取页面，有啥示例代码么？ @黄亿华黄亿华/webmagic…

笑红尘 2021-11-26 23:55:53 859 0

我从页面获取到json数据解析后发现带的实际参数和我得到的不一样?具体情况如下

红色字体中分别是页面的实际传值和我得到的值、？为什么会不一样呢？页面json "items":" &lturl&gt&lt![CDATA[/websearch/art.jsp?sg=ZXE4GXRRej7mK…

各自安好 2021-11-26 21:46:51 877 0

关于webmagic下载动态文件(web后台生成的excel)的问题/或者说是如何提取到webmagic的cookie

页面上可以获取到url,直接打开urlconnection的inputstream,avliable()返回值是0.因为后台需要时间生成excel. 但是webmagic可以很好的下载出来,只是在…

哑剧 2021-11-26 18:16:12 928 0

webmagic如何采集大页面数据呢

@黄亿华你好，想跟你请教个问题：想采集这个页面的数据 http://mrrebates.com/merchants/all_merchants.asp 但是页面特别大，每次run以后，只加载…

哑剧 2021-11-26 14:58:48 800 0

webmagic如何实现一个spider对多个网站的爬取？

@黄亿华黄大你好，想跟你请教个问题：简单介绍一下背景，我最近在做一个垂直爬虫的项目，有三个同类型的目标网站需要爬取，有用的网页内容解析后需…

离去的眼神 2021-11-26 14:04:04 969 0

java网络爬虫使用webmagic框架怎样获取网页链接

java网络爬虫使用webmagic框架怎样获取网页链接 1位置？？？？中的正则表达式应该怎样写才能获取任意网站下一层的链接地址或者2位置的式子怎么写才…

眼眸里的那抹悲凉 2021-11-26 13:43:25 888 0

webmagic 可以控制深度么

如题用webmagic 深度爬取如何控制深度？…

蓝颜夕 2021-11-26 09:52:46 746 0

抓取https 网页异常：javax.net.ssl.SSLHandshakeException

@黄亿华你好，想跟你请教个问题：抓取https页面提示&nbsp安全证书无效 javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorExc…

成熟稳重的好男人 2021-11-26 09:27:01 797 0

pipLine 中的 process 遇到一个空指针异常

@黄亿华你好，想跟你请教个问题： @RestController @RequestMapping("/magic") public class WebMagicController implements Pipeline{ @Autowired …

吃颗糖壮壮胆 2021-11-26 07:10:19 793 0

WebMagic 爬虫怕您github粉丝的名字

@黄亿华你好，想跟你请教个问题：我在用Webmagic 爬虫在爬你的粉丝的名字出现了一个问题。就是我只能爬到一个粉丝的名字，然后就结束了。以下是我的…

刘备忘录 2021-11-26 06:07:38 504 0

同一页面有的数据可以抓取到有的不行

@黄亿华你好，想跟你请教个问题： title的数据是有的，但是resource一直为null，我猜是路径的问题，但是我的路径又是没问题的求指教 public class …

飘过的浮云 2021-11-26 03:04:42 895 0

关于登录后的启动爬虫时保持cookie的问题

@黄亿华你好，想跟你请教个问题：您好，我在用Httpclient模拟登录以后用jobhunter的例子爬取登录后网页的时候爬取的却是登录界面的内容，怀疑是没有…

居里长安 2021-11-26 02:45:48 803 0

FileCacheQueueScheduler问题

@黄亿华您好，想跟你请教个问题：用protected Scheduler scheduler = new FileCacheQueueScheduler()，它提示我构造函数未定义，这是为啥？而且如果…

苍暮颜 2021-11-26 02:38:37 911 0

共 11 页
上一页
5
6
7
8
9
下一页

友情链接

文江博客