寻找数据库设计相关的方式

Question

我正在开发一个日志分析系统，它读取tomcat的日志并通过网页中的图表/表格显示它们。 （我知道有一些现有的日志分析系统，我正在重新造轮子。但这是我的工作，我的老板想要它。）

我们的tomcat日志是每天保存的。例如：

2011-01-01.txt
2011-01-02.txt
......

以下是我将日志导出到db并读取的方式：

1 数据库结构

我有三个表： 1）log_current：保存今天生成的日志。

2）log_past：保存今天之前生成的日志。

上面两个表拥有相同的架构。

+-------+-----------+----------+----------+--------+-----+----------+----------+--------+---------------------+---------+----------+-------+
| Id    | hostip    | username | datasend | method | uri | queryStr | protocol | status | time                | browser | platform | refer |
+-------+-----------+----------+----------+--------+-----+----------+----------+--------+---------------------+---------+----------+-------+
| 44359 | 127.0.0.1 | -        |        0 | GET    | /   |          | HTTP/1.1 |    404 | 2011-02-17 08:08:25 | Unknown | Unknown  | -     |
+-------+-----------+----------+----------+--------+-----+----------+----------+--------+---------------------+---------+----------+-------+

3）log_record：保存log_past的信息，记录日志导出到log_past表的天数。

+-----+------------+
| Id  | savedDate  |
+-----+------------+
| 127 | 2011-02-15 |
| 128 | 2011-02-14 |
..................
+-----+------------+

该表显示已导出2011-02-15 的日志。

2 导出（到数据库）

我有两个计划工作。

1）白天工作。

00:05:00，查看tomcat日志目录（/tomcat/logs），找到最近30天的所有日志文件（当然也包括昨天的日志。

查看log_record表查看是否导出了一天的日志，例如log_record中没有找到2011-02-16，所以我就读取2011-02- 16.txt，并将它们导出到log_past。

导出昨天的日志后，我启动对今天的日志（2011-02-17.txt）的文件监控

2）文件监控

一旦监视器启动，它将每小时读取该文件。它读取的每个日志都会保存在log_current表中。

3 tomcat服务器重启。

有时候我们必须重启tomcat，所以一旦tomcat启动，我会删除log_current的所有日志，然后进行日常工作。

4 我的问题

1）两个表（log_current和log_past）。

因为如果我将今天的日志保存到log_past，我无法确保所有日志文件（xxxx-xx-xx.txt）都导出到数据库。因为我会每天 00:05:00 进行检查，以确保必须导出今天之前的日志。

但这使得查询过去和现在的日志变得困难。

例如，查询从2011-02-14 00:00:00到2011-02-15 00:00:00，这些日志必须位于log_past。

但是从 2011-02-14 00:00:00 到 2011-02-17 08:00:00 怎么样？（假设是 2011-02-17 09:00:00 现在）。

跨表查询比较复杂。

另外，我一直认为我对表格和工作方式（导出/读取的安排工作）的设计并不完美，所以有人可以给出一个好的建议吗？

我只需要导出和读取日志，并且可以进行几乎实时的分析，其中实时意味着我必须通过图表/表格等使当天的日志可见。

Answer 1

首先，在我看来，您不需要 2 个不同的表 log_current 和 log_past。您可以在同一个表中插入所有行，例如 logs 并使用
从日志中选择*，其中id =（从log_record中选择id，其中savedDate ='YOUR_DATE'）
这将为您提供特定日期的所有日志。

现在，一旦您能够使用上述方式消除表之间当前和过去的区别，我认为您在这里提出的问题就会得到解决。 :)