@红薯 你好,想跟你请教个问题:现在我们的网站需要分布式文件存储,主要用来存储大量图片、小文件等,选择什么存储服务比较好?FastDFS、TFS,你们用的是什么服务,业界主流一般用什么服务?(自己百度、google了,没找到答案),求教,十分感谢!
嗯 研究研究 十分感谢
推荐淘宝TFS,专门用于海量小图片存储:
高可用(每个图片默认保存三份)
无缝扩容(可随时增加机器不影响旧的文件存储)
低成本(普通PC server即可,不必要使用磁盘阵列)
有没有用过别的存储服务?有没有对比啥的?性能,高可用性等如何,求指教
回复fastdfs还可以吧,我们现在就用的这个。没有什么小众大众的,适合自己的就是好的。最初是准备上hdfs的,可是,种种考虑,容灾、运维、资金等,最后选择了fastdfs。就是一个存储,简单明了,后期还好扩展。
回复嗯 十分感谢 我前期用了fastdfs 感觉还好 不过只是开发环境使用 正式环境没上 也有一些缺点 小众、图片重命名等 那我们这种选择什么比较好点?不知道业界主流(sina weibo、twitter)是怎么做的?
回复嗯 HDFS显然不合适 再研究研究
大哥 你怎么老是怀疑我数据量的大小呢 我们是交通类内网应用 图片基本来自城市道路上过车抓拍图片 比如路口抓拍过车 闯红灯 卡口过车图片等 1秒200张上传 高峰时期可能更多 一点也不夸张 咱不纠结这个了好不好 有没有啥解决方案 求指教
mogilefs, mogodb都可以,目前使用mogilefs存储了10T左右的图片
每秒200张? 平均每秒200次PV的网站也就那么些?
实际情况下,平均每天有多少张图片?1000万以上吗?还是内部的应用
facebook峰值,也不过50万张。
我们属于内网应用 而且这些图片涉及个人隐私 不能放到互联网上
又拍云
嗯 但是感觉太小众 淘宝开源之前 业界都是咋搞的呢
淘宝不是有开源的么,符合你的要求,专门处理淘宝网的图片
我们还没用这类产品
@北京翰索@月影又无痕 文件主要是图片 大小500K左右 每秒200张左右增长量 使用分布式存储不是为了装屁 是为了实现服务的高可用性,在线、线性扩容等 请各位大牛指点一二
文件数量多大?每天的增长量多大?
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
暂无简介
文章 0 评论 0
接受
发布评论
评论(18)
嗯 研究研究 十分感谢
推荐淘宝TFS,专门用于海量小图片存储:
高可用(每个图片默认保存三份)
无缝扩容(可随时增加机器不影响旧的文件存储)
低成本(普通PC server即可,不必要使用磁盘阵列)
有没有用过别的存储服务?有没有对比啥的?性能,高可用性等如何,求指教
回复
fastdfs还可以吧,我们现在就用的这个。没有什么小众大众的,适合自己的就是好的。最初是准备上hdfs的,可是,种种考虑,容灾、运维、资金等,最后选择了fastdfs。就是一个存储,简单明了,后期还好扩展。
回复
嗯 十分感谢 我前期用了fastdfs 感觉还好 不过只是开发环境使用 正式环境没上 也有一些缺点 小众、图片重命名等 那我们这种选择什么比较好点?不知道业界主流(sina weibo、twitter)是怎么做的?
回复
嗯 HDFS显然不合适 再研究研究
大哥 你怎么老是怀疑我数据量的大小呢 我们是交通类内网应用 图片基本来自城市道路上过车抓拍图片 比如路口抓拍过车 闯红灯 卡口过车图片等 1秒200张上传 高峰时期可能更多 一点也不夸张 咱不纠结这个了好不好 有没有啥解决方案 求指教
mogilefs, mogodb都可以,目前使用mogilefs存储了10T左右的图片
每秒200张? 平均每秒200次PV的网站也就那么些?
实际情况下,平均每天有多少张图片?1000万以上吗?还是内部的应用
facebook峰值,也不过50万张。
我们属于内网应用 而且这些图片涉及个人隐私 不能放到互联网上
又拍云
嗯 但是感觉太小众 淘宝开源之前 业界都是咋搞的呢
淘宝不是有开源的么,符合你的要求,专门处理淘宝网的图片
我们还没用这类产品
@北京翰索
@月影又无痕 文件主要是图片 大小500K左右 每秒200张左右增长量 使用分布式存储不是为了装屁 是为了实现服务的高可用性,在线、线性扩容等 请各位大牛指点一二
@北京翰索
@月影又无痕 文件主要是图片 大小500K左右 每秒200张左右增长量 使用分布式存储不是为了装屁 是为了实现服务的高可用性,在线、线性扩容等 请各位大牛指点一二
文件数量多大?每天的增长量多大?
我们还没用这类产品