如何“将数据加载到文件中”在亚马逊 RDS 上？

Question

不确定这是否是一个更适合服务器故障的问题，但我最近一直在搞乱亚马逊 RDS，并且在为我的网络主机 mysql 用户获取“文件”权限时遇到问题。

我假设一个简单的：

grant file on *.* to 'webuser@'%';

可以工作，但事实并非如此，而且我似乎也无法对我的“root”用户执行此操作。什么给？我们使用加载数据的原因是因为它一次执行数千个插入的速度非常快。

有人知道如何解决这个问题还是我需要找到不同的方法？

此页面 http://docs.amazonwebservices.com/ AmazonRDS/latest/DeveloperGuide/index.html?Concepts.DBInstance.html 似乎表明我需要找到一种不同的方法来解决这个问题。

帮助？

更新 我不想导入数据库——我只是想使用文件加载选项一次插入数十万行。

深入研究后，我们得到的是：

 mysql> grant file on *.* to 'devuser'@'%';
 ERROR 1045 (28000): Access denied for user 'root'@'%' (using password: YES)


 mysql> select User, File_priv, Grant_priv, Super_priv from mysql.user;
 +----------+-----------+------------+------------+
 | User     | File_priv | Grant_priv | Super_priv |
 +----------+-----------+------------+------------+
 | rdsadmin | Y         | Y          | Y          |
 | root     | N         | Y          | N          |
 | devuser  | N         | N          | N          |
 +----------+-----------+------------+------------+

Answer 1

您需要使用 LOAD DATA LOCAL INFILE ，因为该文件不在 MySQL 服务器上，而是在您运行命令的计算机上。

根据下面的评论，您可能还需要包含该标志：

--local-infile=1

Answer 2

也遇到了这个问题，尝试在 Windows 上使用 MySQL Workbench 将 .csv 数据从我的本地计算机上传到 AWS RDS 实例。

我需要的添加是在以下位置添加 OPT_LOCAL_INFILE=1：Connection >高级>其他的。注意需要使用 CAPS。

我在 AWS 开发者论坛中找到了 PeterMag 的答案。

---

更多信息：

SHOW VARIABLES LIKE 'local_infile'; 已返回 ON
查询是：

LOAD DATA LOCAL INFILE 'filepath/file.csv' 
    INTO TABLE `table_name`
    FIELDS TERMINATED BY ',' 
    ENCLOSED BY '"'
    LINES TERMINATED BY '\n'
    IGNORE 1 ROWS;

从上面引用的答案源复制：

显然这是 MYSQL Workbench V8.X 中的一个错误。除了
本线程前面显示的配置，您还需要更改
Workbench中的MYSQL连接如下：

1. 转到 MYSQL 的欢迎页面，其中显示了您的所有连接
2. 选择“管理服务器连接”（小扳手图标）
3. 选择您的连接
4. 选择“高级”选项卡
5. 在“其他”框中，添加 OPT_LOCAL_INFILE=1

现在我可以在 MYSQL RDS 上使用 LOAD DATA LOCAL INFILE 查询。它似乎
不需要 File_priv 权限。*

Answer 3

无论它的价值如何......您可以将 LOCAL 操作数添加到 LOAD DATA INFILE 而不是使用 mysqlimport 来解决此问题。

LOAD DATA LOCAL INFILE ...

这无需授予 FILE 权限即可工作。

Answer 4

很确定您还不能做到这一点，因为您没有 RDS 的最高级别 MySQL 权限。我们只做了一些测试，但导入数据库的最简单方法似乎是从源框中通过管道传输它，例如

mysqldump MYDB | mysql -h rds-amazon-blah.com --user=youruser --pass=thepass

Answer 5

有两种方法可以将批量数据导入 Amazon MySQL RDS。您可以根据您的方便选择以下任何一个。

1. 使用导入实用程序。

   mysqlimport --local --compress -u <用户名>; -p<密码> -h <主机地址> <数据库名称> --fields-termminated-by=',' TEST_TABLE.csv
   --确保实用程序仅将数据插入到 TEST_TABLE 中。
   

2. 通过管道进入 mysql 命令发送批量插入 SQL。

   mysql -u <用户名>; -p<密码> -h <主机地址> <数据库名称> <测试表插入.SQL
   --这里文件 TEST_TABLE_INSERT.SQL 将具有批量导入 sql 语句，如下所示
   --插入 TEST_TABLE 值('1','test1','2017-09-08'),('2','test2','2017-09-08'),('3','test3' ,'2017-09-08'),('3','test3','2017-09-08');
   

Answer 6

我遇到了类似的问题。事实上，我试图导入数据库，但条件应该是相同的 - 由于某些表的大小、不稳定的连接以及对适度恢复功能的渴望，我需要使用加载数据。

我同意 chris finne 的观点，即不指定本地选项可能会导致该错误。经过多次调整和启动后，我发现 Maatkit 提供了 mk-parallel-restore 工具我需要一些优秀的附加功能。它可能非常适合您的用例。