SLF4J 日志记录到文件 vs. DB vs. Solr

Question

我需要一些关于 SLF4J 日志记录的建议。

目前，我们正在为 Java Web 应用程序使用 SLF4J 日志记录（log4j 绑定），该应用程序使用简单的 ConsoleAppender。我们的下一步是研究可以保存日志的地方。

我们的应用程序每天处理大约 100,000 条消息。每条消息生成大约 60 -100 行日志。我们的目标是能够快速搜索和查找失败的消息（使用 messageId）并确定失败的原因。

我的问题是：以下哪个是存储日志的好地方：

• 文件
• DB
• Solr

谢谢。

Answer 1

考虑放弃 log4j 并使用 slf4j API 的 logback 实现
Logback 有一个广泛的可用appenders 列表。

我认为也许您的问题更多的是关于使您的日志可搜索。答案取决于您要搜索的内容。

• 对于简单的应用程序，我只需使用滚动文件附加程序并 grep 查找我感兴趣的消息。
• 更复杂的应用程序还会将消息另外记录到数据库中。
• 目前没有可用于 log4j 和 logback 的 Solr 附加程序。然而，使用 solrj API 应该很容易编写
• 用于监视日志消息，有一个 lilith 这是日志消息的远程 GUI。
  不知道它的扩展性如何，但对于演示和简单的监控来说它确实很有趣。

更新

正如 Sebastien 所建议的，还有一个用于 logback 的 Graylog2 附加程序。现在可在 Maven Central 中使用

<dependency>
    <groupId>me.moocar</groupId>
    <artifactId>logback-gelf</artifactId>
    <version>0.9.6p2</version>
</dependency>

当然，这取决于是否安装了 graylog2 服务器。

Answer 2

Servlet 规范中没有提供用于放置日志的文件系统位置的功能。

因此，最稳健、长期的解决方案是简单地使用 java.util.logging（带有 slf4j 绑定）并让 Web 容器处理生成的日志。

您每天大约有 1000 万个日志条目。这意味着您需要小心资源的使用。数据库通信比文件访问昂贵得多。我建议您分析这些方法，看看是否可以获得所需的性能，除了每晚备份的平面文件之外，还需要考虑其他任何事情。