爬虫爬目标网站出现512错误怎么解决?

Question

1.问题

昨天爬好好的,然后开了五个线程果断被封IP, 今天继续爬,没有封IP,但是爬不了,直接报错512错误

2.错误信息

[WARN][2016-05-13 11:40:20,977][us.codecraft.webmagic.downloader.HttpClientDownloader]code error 521    https://xxxxxx.com/

报错的代码段

            if (statusAccept(acceptStatCode, statusCode)) {
                Page page = handleResponse(request, charset, httpResponse, task);
                onSuccess(request);
                return page;
            } else {
                logger.warn("code error " + statusCode + "\t" + request.getUrl());
                return null;
            }

3.尝试的修改方案

加了请求头,然而并没有什么卵用

Answer 1

https://github.com/JerelLin/bilibili

Answer 2

到底是512 还是521啊？ 而且状态吗也没有521 或者 512 啊