code error 403

发布于 2021-11-19 14:10:49 字数 767 浏览 360 评论 3

請求這是為什麽?

FilePipeline filePipeline = new FilePipeline("F://webmagic//");
Spider.create(
                new SimplePageProcessor("http://www.openrice.com/macau/",
                        "http://www.openrice.com/macau/*"))
                .addPipeline(filePipeline).thread(5).run();

10:11:04,030  INFO Spider:306 - Spider www.openrice.com started!
10:11:04,034  INFO HttpClientDownloader:80 - downloading page http://www.openrice.com/macau/
10:11:04,070  WARN HttpClientDownloader:96 - code error 403 http://www.openrice.com/macau/




如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(3

绝影如岚 2021-11-24 04:00:18

引用来自“黄亿华”的评论

不设置为""默认是Apache HttpClient,太明显了,所以还是设置比较好…

筱果果 2021-11-23 05:17:55

不设置为""默认是Apache HttpClient,太明显了,所以还是设置比较好…

拥有 2021-11-20 04:51:55

private CloseableHttpClient generateClient(Site site) {
        HttpClientBuilder httpClientBuilder = HttpClients.custom()
                .setConnectionManager(connectionManager);
        if (site != null && site.getUserAgent() != null) {
            httpClientBuilder.setUserAgent(site.getUserAgent());
        } else {
            httpClientBuilder.setUserAgent("");

        }

原來是這句問題,不太理解,既然不用UserAgent了,還需要set為""嗎?

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文