将数据从 hive 取出并放入 mysql @ AWS？

Question

我很想使用 Sqoop，但不认为仅仅为了这个就值得在 ElasticMapReduce（我真的很喜欢）上运行 Cloudera stack @ AWS。

我目前的想法只是将我需要的数据写入@ S3 中的外部表，然后编写一个脚本将其导入到 mysql 中。亚马逊有一些关于 SimpleDB 的东西（示例），但我不确定路线也可以吗？ S3 中的数据很好，只是想知道是否有人有更好的主意。

谢谢！

Answer 1

我使用的最简单的解决方案并且效果很好：

1. 就像您建议的那样将数据放入 S3 存储桶中。您可以创建一个托管在 S3 上并具有制表符分隔格式的表。如果您在最后一步中使用一个减速器，您最终将只得到一个文件。
2. 将数据下载到您的 MySQL 服务器，我最喜欢的工具是 s3cmd
3. 使用 LOAD DATA INFILE 将数据直接导入 MySQL。 ..