webmagic是否支持robots协议

Question

@黄亿华 你好，想跟你请教个问题：webmagic支持robots协议吗？我没有找到相关代码，如果不支持是否考虑添加

Answer 1

这个问题有人问过了，目前不支持。http://www.oschina.net/question/1265317_132905

年前比较忙，在春节后会重新更新，考虑加入支持。