在Postgis中上传大量空间数据有哪些好方法？

发布于 2024-11-14 19:31:26 字数 338 浏览 2 评论 0原文

我有大量空间数据需要分析并在应用程序中使用。原始数据以 WKT 格式表示，我将其包装到 INSERT SQL 语句中以上传数据。

INSERT INTO sp_table ( ID_Info, "shape") VALUES ('California', , ST_GeomFromText('POLYGON((49153 4168, 49154 4168, 49155 4168, 49155 4167, 49153 4168))'));

然而，这种方法花费太多时间并且数据很大（1000 万行）。那么，有没有其他方法可以上传大量的空间数据呢？

任何加速黑客和欢迎赞赏技巧。

原文

I have a large amount of spatial data I need analyze and put into use in an application. Original data is represented in WKT format and I'm wrapping it into a INSERT SQL statements to upload the data.

INSERT INTO sp_table ( ID_Info, "shape") VALUES ('California', , ST_GeomFromText('POLYGON((49153 4168, 49154 4168, 49155 4168, 49155 4167, 49153 4168))'));

However this approach is taking too much time and data is large (10 million rows).
So, is there any other way to upload large amount of spatial data ?

Any speedup hacks & tricks are welcome appreciated.

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

叫思念不要吵 2024-11-21 19:31:26

使用 COPY 将文本文件插入表（具有适当的列）

如果没有

VACUUM

则向此表添加一个串行主键每个 CPU 生成一个进程，执行以下操作：

INSERT INTO sp_table ( ID_Info, "shape")
SELECT state_name, ST_GeomFromText( geom_as_text )
FROM temp_table
WHERE id % numbre_of_cpus = x

为每个进程使用不同的“x”值，所以整个表都被处理了。这将允许每个核心在慢速 ST_GeomFromText 函数上运行。

插入后创建GIST索引。

Insert your text file into a table (with proper columns) using COPY

Add a SERIAL PRIMARY KEY to this table if it doesn't have one

VACUUM

Spawn one process per CPU which does this :

INSERT INTO sp_table ( ID_Info, "shape")
SELECT state_name, ST_GeomFromText( geom_as_text )
FROM temp_table
WHERE id % numbre_of_cpus = x

Use a different value of "x" for each process, so the entire table is processed. This will allow each core to run on the slow ST_GeomFromText function.

Create GIST index after insertion.

回复收藏 0 原文