code error 403
請求這是為什麽?
FilePipeline filePipeline = new FilePipeline("F://webmagic//");
Spider.create(
new SimplePageProcessor("http://www.openrice.com/macau/",
"http://www.openrice.com/macau/*"))
.addPipeline(filePipeline).thread(5).run();
10:11:04,030 INFO Spider:306 - Spider www.openrice.com started!
10:11:04,034 INFO HttpClientDownloader:80 - downloading page http://www.openrice.com/macau/
10:11:04,070 WARN HttpClientDownloader:96 - code error 403 http://www.openrice.com/macau/
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(3)
引用来自“黄亿华”的评论
不设置为""默认是Apache HttpClient,太明显了,所以还是设置比较好…
不设置为""默认是Apache HttpClient,太明显了,所以还是设置比较好…
private CloseableHttpClient generateClient(Site site) {
HttpClientBuilder httpClientBuilder = HttpClients.custom()
.setConnectionManager(connectionManager);
if (site != null && site.getUserAgent() != null) {
httpClientBuilder.setUserAgent(site.getUserAgent());
} else {
httpClientBuilder.setUserAgent("");
}
原來是這句問題,不太理解,既然不用UserAgent了,還需要set為""嗎?