“欺骗” SQL Server 接受来自 R 的文件

Question

我在 R 的本地环境中有一个文件（大约 1000000 行和 15 列），我正在尝试将此文件上传到 SQL 服务器：

library(odbc)
library(DBI)
library(RODBC)

dbWriteTable(my_connection,  SQL("my_table"), my_table)

但是当我运行时，我无法将整个表上传到服务器这段代码我收到错误：

Error in result_insert_dataframe(rs@prt, values):  nanodbc/nanodbc.cpp:1587 : HY008 : Operation canceled

但是，我注意到我能够成功地将这个表的“部分”上传到服务器上：

#this works fine

my_table_1 = my_table[1:1000,]

dbWriteTable(my_connection,  SQL("my_table_1"), my_table_1)

这让我相信“my_table”中的某个地方有一些行未被接受服务器 -但我不确定如何正确识别这些行。

• 有没有办法找出哪些行导致问题，或者有没有办法“欺骗”/“强制”服务器接受这些行？

以下是 R（全局环境）中文件的摘要（“str”命令）：

- var1 : chr
- var2: chr
- var3: chr
- var4: chr
- var 5: chr
- var6: chr
- var7: chr
- var8: chr
- var9: chr
- var10: chr
- var11:chr
- var12:num
- var13:num
- var14:num
- var15: chr

以下是该文件的前 100 行已成功上传到 SQL 的变量类型的摘要：

- var1 : CHARACTER VARRYING (255)
    - var2: CHARACTER VARRYING (255)
    - var3: CHARACTER VARRYING (255)
    - var4: CHARACTER VARRYING (255)
    - var 5: CHARACTER VARRYING (255)
    - var6: CHARACTER VARRYING (255)
    - var7: CHARACTER VARRYING (255)
    - var8: CHARACTER VARRYING (255)
    - var9: CHARACTER VARRYING (255)
    - var10: CHARACTER VARRYING (255)
    - var11:CHARACTER VARRYING (255)
    - var12:DOUBLE PERCISION 
    - var13:DOUBLE PERCISION 
    - var14:DOUBLE PERCISION 
    - var15: CHARACTER VARRYING (255)

基于这些摘要：

• 有没有办法找出哪些行导致问题，或者有没有办法“欺骗”/“强制”服务器接受这些行？

谢谢你！

Answer 1

您的数据集可能太大，无法通过单个操作将其写入数据库。我记得不久前也遇到过类似的问题，这很有意义，因为一次 1000 行似乎对你有用。将数据集分割成块并一一写入可能会起作用。

这尚未经过测试，但也许这可行：

my_table_chunks <- 
  split(my_table, ceiling(seq_along(1:nrow(my_table))/1000))
  
lapply(my_table_chunks,
       function(x) dbWriteTable(my_connection,  SQL("my_table"), x), append = TRUE)

如果您确实有权访问数据库控制台或管理 UI，那么以这种方式导入数据可能会更快。

这里在 SQL 中建议了类似的解决方案。

Answer 2

您的数据库列的最大长度均为 255 个字符。如果任何字符向量包含的字符串长于该值，则 dbWriteTable 将失败。使用 lapply(my_table, function(x) max(nchar(x))) 来查找。

如果这没有帮助，请将 data.frame 分割成块，并结合使用 purrr::map 和 purrr::possible 来循环它们。然后检查输出以查看哪些块失败，将它们切成更小的块并重试。