处理“大数据”的技术高效（读、写、查询、聚合）
为 Web 应用程序构建概念验证分析仪表板功能，允许用户查看谁访问了他们的个人资料并查看他们发布的内容。想想.me 风格的仪表板。
当前，当用户在应用程序中执行相关操作时，将数据点（主语、动词、宾语、时间戳元组格式）写入 MySQL 表（正在迅速接近一百万条记录）。使用 cURL + cron 作业 + 消息队列机制，这种写入是不同步的。
不确定如何在分析仪表板上继续实际整理、聚合和呈现这些数据，而不会占用我服务器上太多的资源。
寻找技巧、战争故事和技术来简化我的生活。
Building a proof of concept analytics dashboard feature for a web application, allowing users to view who has been visiting their profile and viewing the content they have posted. Think about.me style dashboard.
Currently writing data points (subject, verb, object, timestamp tuple format) into a MySQL table (which is rapidly approaching a million records) as users perform relevant actions in the application. This writing happens out of sync using a cURL + cron job + message queue mechanism.
Not sure how to proceed for the actual collation, aggregation and presentation of this data on the analytics dashboard in a way that won't tie up far too many resources on my server.
Looking for tips, war stories and technologies that will simplify my life with this stuff.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
为什么不直接从
select查询开始，看看它的执行情况如何？如果遇到速度缓慢的情况，您始终可以：
我建议您阅读高性能MySQL：http://oreilly.com/目录/9780596003067
Why not just start with the
selectqueries and see how it performs?If and when you run into slowness you can always:
I recommend that you read High performance MySQL: http://oreilly.com/catalog/9780596003067