将数据从一种数据库方案迁移到另一种数据库方案时的最佳实践？

Question

很多时候，当我在处理一个项目时，我发现自己正在查看数据库方案，并且必须导出数据才能使用新方案。

很多时候，数据库中存储的数据相当粗糙。我的意思是它存储了许多未经过滤的字符。我发现我自己编写了自定义 php 脚本来过滤这些信息并创建一个漂亮干净的 UTF-8 CSV 文件，然后将其重新导入到我的新数据库中。

我想知道是否有更好的方法来处理这个问题？

Answer 1

我建议使用 ETL 工具，或者至少在移动数据时遵循 ETL 实践。考虑到您已经在进行清洁，您可以遵循整个 ECCD 路径——提取、清洁、整合、交付。如果您自己进行清理，请考虑保存中间 csv 文件以用于调试和审核目的。

1. Extract (as is, junk included) to file_1
2. Clean file_1 --> file_2
3. Conform file_2 --> file_3
4. Deliver file_3 --> DB tables

如果您将文件 1-3 和脚本的文档版本存档，您将能够在出现错误时回溯。

ETL 工具（例如 Microsoft SSIS、Oracle Data Integrator、Pentaho Data Integrator）连接到各种数据源并提供大量转换和分析任务。

Answer 2

没有人回答这个问题，但我曾经需要快速迁移数据库并最终使用 sqlautocode，这是一个从现有数据库自动生成（python orm）模型的工具 - 该模型使用伟大的 sqlalchemy< /a> orm 库。它甚至生成一些示例代码，以开始使用......（见下文）

令人惊讶的是，它开箱即用。您没有完整的迁移，但有一种以编程方式访问所有表的简单方法（在 python 中）。

我没有在那个项目中这样做，但是您当然也可以为目标数据库自动生成 orm 层，然后编写一个脚本，将正确的行传输到所需的结构中。

一旦你将数据库内容导入Python，你将能够处理u'unicode'，即使这需要一些尝试，具体取决于实际的粗糙度......

示例代码：

# some example usage
if __name__ == '__main__':
db = create_engine(u'mysql://username:password@localhost/dbname')
metadata.bind = db

# fetch first 10 items from address_book
s = customers.select().limit(10)
rs = s.execute()
for row in rs:
    print row

Answer 3

您可以考虑Logstash。

logstash 是一个用于管理事件和日志的工具。您可以使用它来收集日志、解析日志并存储它们以供以后使用（例如用于搜索）

Logstash 像管道一样操作每个事件/日志：过滤器|输出。
Logstash 有许多输入插件来接受不同的源/格式，您可以使用过滤器来解析源数据，然后输出到您需要的多种输出/格式。