用于跟踪文档管理系统内文档状态的数据库

发布于 2024-12-05 03:22:23 字数 1045 浏览 1 评论 0原文

我开始为我们系统上管理的文档建立一个记录数据库。每个文档都会经历一系列特定的处理任务，我在这里将其称为规范化、转换和提取。

文档处理可能在这些步骤中的任何一个中失败，因此，我正在寻找一种解决方案，可以快速存储这些信息以进行存档，但我也应该能够查询这些信息（并可能对其进行总结）。如果我用 json 定义我的数据结构，它可能看起来像这样：

{ 10123 : [
    { queue : 'converter',
      startedAt : 'date-here',
      finishedAt: 'date-here',
      error : { message : 'error message', stackTrace : 'stack trace here' },
      machine : '192.168.0.1'
    } , 
    { queue : 'extractor',
      startedAt : 'date-here',
      finishedAt: 'date-here',
      error : { message : 'error message', stackTrace : 'stack trace here' },
      machine : '192.168.0.1'
    }, 
    { queue : 'extractor',
      startedAt : 'date-here',
      finishedAt: 'date-here',
      error : { message : 'error message', stackTrace : 'stack trace here' },
      machine : '192.168.0.1'
    }, 
] }

在理想的世界中，我将获得来自特定文档的完整处理生命信息，并且还应该能够检测哪些失败以及每个进程花费的平均时间。

关于处理此问题的理想数据库解决方案有什么提示吗？这可能适合每天几千次写入。

主要解决方案是用Java编写的，因此DB应该有一个Java驱动程序。

原文

I'm starting to build a record keeping database for the documents we manage on our system. Each document goes through a bunch of specific processing tasks that I will call here normalization, conversion and extraction.

The document processing may fail at any of these steps, so, I'm looking for a solution where i can quickly store this information for archiving but I should also be able to query the information (and possibly summarize it). If I would define my data structure in json it would possibly look like this:

{ 10123 : [
    { queue : 'converter',
      startedAt : 'date-here',
      finishedAt: 'date-here',
      error : { message : 'error message', stackTrace : 'stack trace here' },
      machine : '192.168.0.1'
    } , 
    { queue : 'extractor',
      startedAt : 'date-here',
      finishedAt: 'date-here',
      error : { message : 'error message', stackTrace : 'stack trace here' },
      machine : '192.168.0.1'
    }, 
    { queue : 'extractor',
      startedAt : 'date-here',
      finishedAt: 'date-here',
      error : { message : 'error message', stackTrace : 'stack trace here' },
      machine : '192.168.0.1'
    }, 
] }

In an ideal world I would have the full processing life information from a specific document and should also be able to detect wich ones have failed and the average time each process takes.

Any hints on an ideal database solution to handle this? This would possibly go for a couple of thousands writes a day.

The main solution is written in Java, so the DB should have a Java driver.

分享到QQ

分享到微博