数据挖掘-twitter、微博之类网站的大量数据分析是怎么做的？什么原理？采集吗？

Question

经常可以看见有人通过分析微博、twitter的信息得出一些结论，例如通过分析微博发布信息的关键字、标签，来得知人们现在关心什么，人们高不高兴、甚至能通过微博信息分析出股票涨势啥的。

他们怎么分析的？？？

采集微博信息，然后匹配关键字？？？？微博也没有页面能输出所有用户发布的所有信息吧，难道他们follow一些特定的人，然后只采集他们的信息？？？

谁知道这种微博数据分析的原理是什么，具体怎么做的。

Answer 1

产生信息的时候 记录各种统计数据
之后一次性的去做统计 不现实啊

Answer 2

应该主要靠关键字（以及近义词）匹配。可以获取一段时间内的全部流量（如果你跟twitter关系不错的话）或者某些大V的流量然后进行关键词检索，做出分析。而分析呢，应该是根据自然语义将关键词与各种信息进行关联，如“哭泣”就和伤心有关，然后就可以做出数据分析了。