webmagic如何采集大页面数据呢

Question

@黄亿华 你好，想跟你请教个问题：

想采集这个页面的数据

http://mrrebates.com/merchants/all_merchants.asp

但是页面特别大，每次run以后，只加载了页面的一部分。这个要如何处理呢？

谢谢

Answer 1

问题解决了，应该是url正则写的不对，加载的不正确。和大页面没有太大关系。