javaWeb如何应对大规模上传?
应用场景:一个Java实现的web管理端,对应多个客户端(C++实现,客户端大约有2万台),在管理端通过设置关键字抓取客户端的命中文件,如在管理端设定“你好”关键字下发到各客户端,各客户端会自动搜索本机器上带“你好”关键字的各种类型的文件并将命中文件上报到管理,现在想问的是在管理端如何接收个客户端上传的文件,通过HTTP方式接收还是FTP方式接收,由于客户端数目较多,且可能由于关键字设置过于普通(如“你好”这样的关键字),每个C++客户端都会生成大量上传文件,基于这样的场景管理端在接收文件时大体应对思路怎样?望各位指点,不胜感激!!!
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(4)
为什么不用云服务? 云存储云cdn。
每个c直连ftp进行上传,获取ftp地址后,汇总通过http接口上传到s
大文件上传这个问题吧,如果用http很难断点续传什么的,所以可以考虑开发一个上传客户端或者浏览器插件。
大文件的异步处理其实也可以分成几个小问题来看,一个是异步,一个是处理,异步可以采用消息队列来存放需要处理的文件,文件可以处理成统一的格式,方便上传,轻松容易玩转单文件和多文件上传:
http://edu.51cto.com/course/course_id-3300.html
你的服务端不做集群啊??
单节点java后端的并发能力最高也就1000左右。
HTTP/FTP都可以啊,性能没太大差别。
文件多少不是什么大问题啊,要么就每个文件单独传。
如果用Http的MultiPart,理论上不限制数量,但太多了也不好,你自己测试找到合适的数量。