Python - 将许多小txt文件分割成一个数据结构以输入mysql

Question

我有几十万个 txt 文件，它们都是非常标准的形状（它们都有共同的元素 - ID、日期、收件人、发件人、主题、正文。

这些不是结构化格式，例如多部分电子邮件消息。

我想剥离它们有很多，所以我想确保该方法可行。

我正在考虑一些关键问题（而且我不是编码员）。是学习/爱好的东西）。

1）是否有一种结构数据类型可以转换以以合理的方式将这些位保持在一起。我认为有一个 file.ID、file.Date 等 tryp 交易以结构化方式保存整个文件是合乎逻辑的，这样以后就可以将其摄取到数据库中。这是蟒蛇吗？或者是我修改 Matlab 后的宿醉？

2) 正文部分可以有几 kb 大或单个句子。 (1) 作为 blob 更好 - 我会失去搜索 - 这样做的目的.. 以及 (2) 如何确保我可以在摄取时间时在 MYSQL 数据库中构造一个足够大的字段？我不知道每个元素的最长大小是多少，除非我在消息拆分器中运行某种计数器来处理每条消息看到的最大值

3）我想我会从散步开始，获取文件列表从步行中，然后逐行提取每个文件。我将使用行位置来推断一些已知位置（ID、日期），然后根据特征使用一些正则表达式或模式来分割其余部分。一旦我分割了文件，我就计划摄取它们。但是，我想知道在每条消息末尾连接到数据库并将各个部分一一转储到自己的记录中是否更合乎逻辑。

时间并不戏剧化，对于所有重要的事情来说，它可以持续一周。我的 i7 上有大约 8GB 的​​ RAM，所以我又不特别需要资源，并且很高兴让它慢慢通过。

这听起来符合逻辑吗？我错过了核心步骤吗？

谢谢。

Answer 1

广告 1）

我认为存储这种结构化数据的最“Pythonic”方式是使用 dict。另一种解决方案是声明一个类，但由于您不打算进行进一步的处理（即您的数据类型不需要任何方法），因此您应该坚持使用最简单的解决方案（海事组织）。

只需使用

data = {}
# Parse file
data['id'] = id_value;
data['date'] = date_value;
# ... and so on

将每个文件的数据存储在 data 中即可。

广告 2)

在 python 方面，您可以只使用字符串（即 str 或 unicode，如果您使用 <3.0）。 python 中的字符串没有大小限制（除了架构限制，但在 64 位机器上，这并不是真正的问题......）。

在 MySQL 端，我将使用 TEXT 作为正文部分的数据类型。您还可以使用 VARCHAR，但您需要给出最大长度。

Ad 3）

我建议独立处理每个文件，即解析它并随后立即将其写入数据库。我认为没有理由不这样做。无需用所有数据填充内存（或者在读取最后一个文件而没有将任何内容写入数据库之前冒着崩溃的风险）。我可能会使用某种机制来标记已处理的文件（将它们移动到另一棵树，重命名它们）：如果我由于某种原因需要重新启动程序，这将阻止处理同一文件两次。