如何设置请求的Header

Question

@黄亿华 你好，想跟你请教个问题：

webmagic在访问有些页面的时候会由于页面判断head中的Referer来源来屏蔽非本站的访问请求，

请问发起请求的时候在哪儿可以设置请求的Header吗？

Answer 1

感谢反馈！之前没有考虑这种情况...已经加到issue里https://github.com/code4craft/webmagic/issues/27，会在下个版本加入。

另外，这个Referer是某个站点统一设置，还是需要使用上一个页面的URL？

Answer 2

请问，我刚好在项目中碰到了这个问题，Refere需要指向前一个页面url，请问怎么设置

Answer 3

感谢反馈！之前没有考虑这种情况...已经加到issue里https://github.com/code4craft/webmagic/issues/27，会在下个版本加入。

另外，这个Referer是某个站点统一设置，还是需要使用上一个页面的URL？

Answer 4

感谢反馈！之前没有考虑这种情况...已经加到issue里https://github.com/code4craft/webmagic/issues/27，会在下个版本加入。

另外，这个Referer是某个站点统一设置，还是需要使用上一个页面的URL？