webmagic怎么提取相对url,并把这些相对url加入抓取队列

Question

@黄亿华 您好，想跟你请教个问题：就是webmagic中怎么抓取相对url

List<String> links = page.getHtml().links().regex("http://my\.oschina\.net/flashsword/blog/\d+").all();

像上面的句子怎么处理相对url呢？谢谢了

Answer 1

@黄亿华你好，我想问一下我的JsonFilePipeline总是出错，改成FilePipeline就没错了，是为什么呢，求指教，谢谢了

Answer 2

<a href="/wuhan/c/10s1002" 比如说这种， List<String> links = page.getHtml().links().xpath("//@href").regex(".*wuhan*.").all(); 我用这句怎么抓取不到

Answer 3

回复
regex(".*wuhan.*")

Answer 4

回复
List<String> links = page.getHtml().links().xpath("//@href").regex(".*wuhan.*").all();我用的这句去抓www.dianping.com结果为0.

Answer 5

回复
我现在做的一件事就是去爬大众点评网，然后采集其所有的店铺位置信息，请问可以提供点思路么？目前抓取不到网页。

Answer 6

回复
哈哈，这个不能告诉你，自己研究吧

Answer 7

相对url会被提前转化为绝对url，你这里的正则可以直接使用绝对地址，能匹配到的！