java 数据挖掘分析求思路

Question

先说说我的想法吧：同时监控淘宝上很多物品的价格，然后获取价格走势（这个我打算自己写爬虫获取，然后存在数据库里），但是问题来了

我该怎么存储数据，使我能分析哪些物品在最近2天或7天的价格波动最大（最好是任意天数），这个地方该怎么实现比较好。总不能说每天我都要遍历一次数据库来求价格的差值吧，能不能有经验的大师指点下。

Answer 1

总不能说每天我都要遍历一次数据库来求价格的差值吧 是觉得开销过大吗？那就把热点数据放Cache，过了这段热点时间就持久化到数据库。

热点数据可以是但不限于：

• 这几天刚采集的数据

• 最常常分析的日期段，比如2天、7天、1个月

Answer 2

这个和java没关系吧

Answer 3

数据分析的方法和java不是强相关的，java从某种角度说只是一种工具，可以将你的想法交给计算完成，可以实现你与计算机的交流，有基于java相关的haoop生态，可以了解一哈

Answer 4

需要分析的变动快的 --> 热数据 --> redis , 放在内存；
长期的历史数据 --> 冷数据 --> mysql / oracle ，放在磁盘。