如何使用 HttpURLConnection 在 Java 中设置下载器代理的名称?
我做了一个网络爬虫,我想将我的下载代理的名称设置为网站知道谁正在访问其内容,并按名称遵循 robots.txt 规则。
我如何做到这一点?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
我做了一个网络爬虫,我想将我的下载代理的名称设置为网站知道谁正在访问其内容,并按名称遵循 robots.txt 规则。
我如何做到这一点?
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
接受
或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论(3)
只需使用
User-Agent
请求标头http://download.oracle.com/javase/6/docs/api/java/net/URLConnection.html#setRequestProperty%28java.lang.String,%20java.lang.String%29" rel="nofollow">URLConnection#setRequestProperty()
。在HttpURLConnection
上,默认为java/xxx
,其中xxx
是版本号。例如
Just set the
User-Agent
request header usingURLConnection#setRequestProperty()
. OnHttpURLConnection
this namely defaults tojava/xxx
wherexxx
is the version number.E.g.
请参阅http://www.w3.org/Protocols/rfc2616/ rfc2616-sec14.html#sec14.43
See http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html#sec14.43
使用 addRequestProperty 或 setRequestProperty 设置 User-Agent 标头的值
http://download.oracle.com/javase/1.4.2/docs/api/java/net/URLConnection.html#addRequestProperty(java.lang.String, java.lang.细绳)
Set the value of the a User-Agent header with addRequestProperty or setRequestProperty
http://download.oracle.com/javase/1.4.2/docs/api/java/net/URLConnection.html#addRequestProperty(java.lang.String, java.lang.String)