请教flume&hadoop的问题

Question

最近在做一个日志系统，需要收集各个业务上报的数据，发送到flume-agent然后写到hadoop，是用TCP连接发送到flume，不过写hadoop时只能写到一个大的文件中，没有办法根据业务写到不同的文件（方便hive建表查询），不知道各位有没遇到过类似的问题，有没什么办法根据各个业务（字段不相同）写到不同的文件中呢？？
多谢..

Answer 1

我之前做过类似的东西，flume可以设置虚拟的sink，可以把不同的数据收集到hdfs中。

你设置了Roll之后，可以按照时间写到不同的木有，分开文件写。