javaWeb如何应对大规模上传?

发布于 2021-11-28 23:18:32 字数 270 浏览 875 评论 4

应用场景:一个Java实现的web管理端,对应多个客户端(C++实现,客户端大约有2万台),在管理端通过设置关键字抓取客户端的命中文件,如在管理端设定“你好”关键字下发到各客户端,各客户端会自动搜索本机器上带“你好”关键字的各种类型的文件并将命中文件上报到管理,现在想问的是在管理端如何接收个客户端上传的文件,通过HTTP方式接收还是FTP方式接收,由于客户端数目较多,且可能由于关键字设置过于普通(如“你好”这样的关键字),每个C++客户端都会生成大量上传文件,基于这样的场景管理端在接收文件时大体应对思路怎样?望各位指点,不胜感激!!!

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(4

叹沉浮 2021-12-01 12:09:54

为什么不用云服务? 云存储云cdn。

最偏执的依靠 2021-12-01 06:06:24

每个c直连ftp进行上传,获取ftp地址后,汇总通过http接口上传到s

断爱 2021-12-01 03:06:41

大文件上传这个问题吧,如果用http很难断点续传什么的,所以可以考虑开发一个上传客户端或者浏览器插件。

大文件的异步处理其实也可以分成几个小问题来看,一个是异步,一个是处理,异步可以采用消息队列来存放需要处理的文件,文件可以处理成统一的格式,方便上传,轻松容易玩转单文件和多文件上传:
http://edu.51cto.com/course/course_id-3300.html

野心澎湃 2021-11-29 07:20:09

你的服务端不做集群啊??

单节点java后端的并发能力最高也就1000左右。

HTTP/FTP都可以啊,性能没太大差别。

文件多少不是什么大问题啊,要么就每个文件单独传。

如果用Http的MultiPart,理论上不限制数量,但太多了也不好,你自己测试找到合适的数量。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文