按需数据查询应用程序的架构决策
我正在尝试决定新的内部分析应用程序使用什么技术。我们目前与 AWS 合作，设置了一个批处理作业，将大约 40MB-80MB 的文件发送到 S3 存储桶。这些数据需要以一种可以按需快速过滤的方式提供。
我当前的计划是创建一个服务器端渲染的应用程序。这个应用程序将以某种方式抓取数据，过滤并将结果作为仪表板返回给客户端（图表/统计/等）。
我的主要问题是如何最好地存储数据以便在服务器上快速检索，例如这种中等文件大小，无需将文件加载到 RAM 中？我最初的想法是将数据从 S3 加载到 DynamoDB 表中 - 但是当用户更改过滤器时重复查询 40-80MB 的数据可能会过于密集？
预先感谢，
萨姆
I'm trying to decide on what technology to use for a new in-house analytics application. We currently work with AWS, and we have a batch job set up which kicks out files of ~40MB-80MB to an S3 bucket. This data needs to be served up in a way that can be quickly filtered on-demand.
My current plan is to create a server-side rendered app. This app will grab the data in some way, filter, and return the results to the client as a dashboard (charts/stats/etc..)
My main question here is how best to store the data for quick retrieval on the server, for this kind of medium file size, without loading the file into RAM? My initial thought is to load the data from S3 into a DynamoDB table - but querying 40-80MB of data repeatedly as the user changes the filters might be too intensive?
Thanks in advance,
Sam
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论