使用 pg_dump 备份 Postgres 表 是否有解决方法来包含 --jobs 选项

Question

我使用的是 postgres 12，并且有一个大小为 1TB 的数据库。我正在对大小为 140+GB 的表执行大删除。

我正在测试该过程，并希望对表及其内容进行 pg_dump，但是按原样运行大约需要 33 分钟

pg_dump -d titan -t public.play > /backup/playBackup.sql

我知道 pg_dump 确实包含一个 --jobs 选项，鉴于我有一台 32 核机器可以真正利用，但那就是备份数据库本身而不是数据库中的表。

有没有更快的方法来备份我需要的表？

Answer 1

--jobs 选项仅适用于“数据库”格式转储，对于单个表没有帮助，因为单个表是由单个进程转储的。

您当然可以启动几个并行的 COPY 语句：

COPY (SELECT * FROM titan WHERE id % 5 = 0) TO '/path/titan0.csv' (FORMAT 'csv');
COPY (SELECT * FROM titan WHERE id % 5 = 1) TO '/path/titan1.csv' (FORMAT 'csv');
COPY (SELECT * FROM titan WHERE id % 5 = 2) TO '/path/titan2.csv' (FORMAT 'csv');
COPY (SELECT * FROM titan WHERE id % 5 = 3) TO '/path/titan3.csv' (FORMAT 'csv');
COPY (SELECT * FROM titan WHERE id % 5 = 4) TO '/path/titan4.csv' (FORMAT 'csv');

如果您同时启动这些语句，您就有机会获得同步顺序扫描并完成单次读取该表。然后您可以并行加载这些文件。

如果您也需要表结构，请运行这些：

pg_dump --section=pre-data -t public.play titan
pg_dump --section=post-data -t public.play titan

首先恢复前数据，然后恢复数据，然后恢复后数据。