将数据集拆分为任意部分

Question

我有这个数据集：

var_1 = rnorm(1000,1000,1000)
var_2 = rnorm(1000,1000,1000)
var_3 = rnorm(1000,1000,1000)

sample_data = data.frame(var_1, var_2, var_3)

我想将此数据集拆分为 10 个不同的数据集（每个数据集包含 100 行），然后将它们上传到服务器。

我知道如何手动执行此操作：

sample_1 = sample_data[1:100,]
sample_2 = sample_data[101:200,]
sample_3 = sample_data[201:300,]

# etc.

library(DBI)

#establish connection (my_connection)

dbWriteTable(my_connection,  SQL("sample_1"), sample_1)
dbWriteTable(my_connection,  SQL("sample_2"), sample_2)
dbWriteTable(my_connection,  SQL("sample_3"), sample_3)

# etc

有没有办法“更快”地执行此操作？

我想到了一个通用的方法来做到这一点 - 但我不确定如何正确编写代码：

i = seq(1:1000, by = 100)
j = 1 - 99
{
sample_i = sample_data[ i:j,]

dbWriteTable(my_connection,  SQL("sample_i"), sample_i)
}

有人可以帮我解决这个问题吗？

谢谢你！

Answer 1

以下是使用 SQLite 数据库引擎的示例。我们将从示例数据集开始：

var_1 = rnorm(1000,1000,1000)
var_2 = rnorm(1000,1000,1000)
var_3 = rnorm(1000,1000,1000)

sample_data = data.frame(var_1, var_2, var_3)

现在我们将使用 split() 将大型数据框分解为包含 10 个数据框的列表。结果将存储在一个列表中：

list_of_dfs <- split(
  sample_data, (seq(nrow(sample_data))-1) %/% 100
)

我们将使用数据库中表的名称创建一个向量。在这里，我只是使用名称 sample_1、sample_2 等创建简单的向量。

table_names <- paste0("sample_", 1:10)

现在我们准备写入数据库。我们将建立连接，然后同时迭代数据帧列表和表名称向量，每次调用 dbWriteTable() ：

connection <- dbConnect(RSQLite::SQLite(), dbname = "test.db")
map2(
  table_names, 
  list_of_dfs, 
  function(x,y) dbWriteTable(connection, x, y)
)