Hadoop存储安全
请问大家,Hadoop的数据存储方面有容错性质么?之前接触的Eucalyptus中的S3存储是非安全的,想找寻一个相对安全容错性高的存储,谢谢大家(我所谓理解的容错,某硬盘挂掉)
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
请问大家,Hadoop的数据存储方面有容错性质么?之前接触的Eucalyptus中的S3存储是非安全的,想找寻一个相对安全容错性高的存储,谢谢大家(我所谓理解的容错,某硬盘挂掉)
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
接受
或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论(6)
恩,也就是说namenode需要做硬件的raid5或者更高级的存储保证吧,再次感谢
谢谢~(≧▽≦)/~啦啦啦
不是这个意思了 一般是一个namenode和多个datanode 数据本身是保存在datanode中的,同个文件块可以有多个备份在不同的datanode上,备份和恢复过程一般是后台自动完成的。 但是namenode只有一个,挂了的话,整个系统就废了。这个,网上有解决方案,需要自己做备份。
你可以看看这个的第三章前两节,对HDFS的结构有简单的描述 http://wenku.baidu.com/view/d7d57dc24028915f804dc2f5.html
哦,如果我的namenode部署到三台计算机,也就是说备份会出现3份 谢谢啦 S3是简单共享 安全几乎没有╮(╯_╰)╭
HDFS每个文件块默认是3份拷贝。保存在3个不同的datanode上。如果一个出错的话,会用其他的拷贝进行恢复。可以在配置文件或者用FS命令修改文件的拷贝数。
不过namenode的容错性就需要自己做了。