在lustre文件系统测试中遇到的问题
在lustre文件系统任何节点机器上,不论mds,ost,或者client,当进程启动之后,wget总是抓不到很多网站的网页,进程停掉也不行,需要重新启动机器才可以,不知道nntp老大碰到过这种情况么?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
在lustre文件系统任何节点机器上,不论mds,ost,或者client,当进程启动之后,wget总是抓不到很多网站的网页,进程停掉也不行,需要重新启动机器才可以,不知道nntp老大碰到过这种情况么?
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
接受
或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论(5)
看不懂.
公司需要用linux下wget去抓取很多网页回来分析,除sina等部分网站外,大部分的网页都抓不会来,报等待的错误。下面是一个ost抓取这个网页时候的报错信息:
wget http://bbs.chinaunix.net/viewthr ... &extra=page%3D1
[1] 6791
--17:32:03-- http://bbs.chinaunix.net/viewthread.php?tid=865687
=> `viewthread.php?tid=865687'
[root@ost gaolimin]# Resolving bbs.chinaunix.net... 60.28.166.83
Connecting to bbs.chinaunix.net|60.28.166.83|:80... connected.
HTTP request sent, awaiting response...
[root@ost gaolimin]# wget http://sports.sina.com.cn/nba/
--17:33:21-- http://sports.sina.com.cn/nba/
=> `index.html'
Resolving sports.sina.com.cn... 202.108.33.32
Connecting to sports.sina.com.cn|202.108.33.32|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
[ <=> ] 112,109 232.74K/s
17:33:22 (232.35 KB/s) - `index.html' saved [112109]
这个是抓Sina的信息,我不起Lustre的情况下,上面的是完全可以抓到的,只要重启进程就不行。
现在测试了,在1.6版本还没有发现这个问题
不明白到底说什么。lustre跟你抓取网页没任何关系吧