minio的一些问题,请求大佬帮助
项目准备做一个文件服务器,参考了很多的方案,最终选择了minIo,部署了4台机器,每个机器2个节点,总共8个节点。现在有几个问题没想明白。
首先说明,我们这边主要都是一些小文件,比如图片,一些json文件等等。顶多就400KB的样子。
现有这么几个问题,
1、上传,我想知道,上传是直接连接minio还是应该中间走一层其他的服务再上传上去,我们现在的方案是有一个上传服务,前端请求这个上传服务,进行一些校验等操作后这个上传服务再上传到minio中。
2、minio能支持多大的并发,也就是我现在的这个集群,能支持多大的并发上传量。
3、能支持多大的读的并发呢?读的话,我们是开放了某个桶下面的读权限,用户获得 /桶/资源路径 后去请求,请求先到了nginx(8个),再通过nginx转发到minio读取文件。我们的测试用 Jmeter 进行1000人的并发下载,发现下载超时,感觉不应该啊,是测试的方法有问题,还是我们的流程有问题?
4、minio的下载是直接用户直连minio下载吗?还是不是这样用的,我们预计可能同时又5000人会进行下载操作,这会不会有问题的?
5、还有数据的迁移,我们线下的数据要迁移到线上,但是线上环境是要走堡垒机,然后再连接的,根本不通外网,线下4个节点,线上8个节点,怎么将数据转移过去?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
1、上传都用api上传操作。
2、并发这种东西官方没说,但理论上和节点数量有关系,节点越多性能越强,磁盘IO也看下。只要靠自己调优,top看下是IO到了瓶颈还是网络或者CPU到了瓶颈。
3、读并发提高有很多方法,你可以用nginx_proxy_cache或vanish做缓存,热点数据在缓存里,不会直接请求minio,更新文件直接再清理缓存。毕竟官方没有在性能上标榜说多厉害,主要还是靠自己调优。
4、下载默认就是走minio,当然建议前面做代理和缓存,性能就和minio的上限关系不大了。
5、数据迁移,你这minio不是本身就有上传接口?直接从接口走就行了。