如何使用 HttpURLConnection 在 Java 中设置下载器代理的名称?

发布于 2024-11-18 23:35:28 字数 84 浏览 3 评论 0 原文

我做了一个网络爬虫,我想将我的下载代理的名称设置为网站知道谁正在访问其内容,并按名称遵循 robots.txt 规则。

我如何做到这一点?

I did a webcrawler and I want to set the name of my downloader agent to the sites knows who is acessing their content and to follow the robots.txt rules by name too.

How I do this?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(3

十年九夏 2024-11-25 23:35:28

只需使用 User-Agent 请求标头http://download.oracle.com/javase/6/docs/api/java/net/URLConnection.html#setRequestProperty%28java.lang.String,%20java.lang.String%29" rel="nofollow">URLConnection#setRequestProperty()。在 HttpURLConnection 上,默认为 java/xxx,其中 xxx 是版本号。

例如

connection.setRequestProperty("User-Agent", "RenatoBot/1.0");

Just set the User-Agent request header using URLConnection#setRequestProperty(). On HttpURLConnection this namely defaults to java/xxx where xxx is the version number.

E.g.

connection.setRequestProperty("User-Agent", "RenatoBot/1.0");
与之呼应 2024-11-25 23:35:28
connection.setRequestProperty("User-Agent", "yourDownloaderName")

请参阅http://www.w3.org/Protocols/rfc2616/ rfc2616-sec14.html#sec14.43

connection.setRequestProperty("User-Agent", "yourDownloaderName")

See http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html#sec14.43

转瞬即逝 2024-11-25 23:35:28

使用 addRequestProperty 或 setRequestProperty 设置 User-Agent 标头的值

http://download.oracle.com/javase/1.4.2/docs/api/java/net/URLConnection.html#addRequestProperty(java.lang.String, java.lang.细绳)

Set the value of the a User-Agent header with addRequestProperty or setRequestProperty

http://download.oracle.com/javase/1.4.2/docs/api/java/net/URLConnection.html#addRequestProperty(java.lang.String, java.lang.String)

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文