指标及性能

Question

我是 Geotools 新手，面临这个问题：我在 PostGis 中注入大约 2MB 的 shapefile 信息（大约 5800 个条目），令人惊讶的是，它大约需要 6 分钟才能完成！相当烦人，因为我的“真实”数据集按 shapefile 组（shp、dbf...）计算可能高达 25MB，需要 100 个组。

有人告诉我这可能是索引问题，因为 Postgre 在每次插入时都会更新表的索引。有没有办法在我的批量插入期间“禁用”这些索引并告诉数据库最后创建所有索引？或者有更好的方法吗？

这是我的代码片段：

Map<String, Object> shpparams = new HashMap<String, Object>();
shpparams.put("url", "file://" + path);
FileDataStore shpStore = (FileDataStore) shpFactory.createDataStore(shpparams);
SimpleFeatureCollection features = shpStore.getFeatureSource().getFeatures();
if (schema == null) {
    // Copy schema and change name in order to refer to the same
    // global schema for all files
    SimpleFeatureType originalSchema = shpStore.getSchema();
    Name originalName = originalSchema.getName();
    NameImpl theName = new NameImpl(originalName.getNamespaceURI(), originalName.getSeparator(), POSTGIS_TABLENAME);
    schema = factory.createSimpleFeatureType(theName, originalSchema.getAttributeDescriptors(), originalSchema.getGeometryDescriptor(),
            originalSchema.isAbstract(), originalSchema.getRestrictions(), originalSchema.getSuper(), originalSchema.getDescription());
    pgStore.createSchema(schema);
}
// String typeName = shpStore.getTypeNames()[0];
SimpleFeatureStore featureStore = (SimpleFeatureStore) pgStore.getFeatureSource(POSTGIS_TABLENAME);

// Ajout des objets du shapefile dans la table PostGIS
DefaultTransaction transaction = new DefaultTransaction("create");
featureStore.setTransaction(transaction);
try {
    featureStore.addFeatures(features);
    transaction.commit();
} catch (Exception problem) {
    LOGGER.error(problem.getMessage(), problem);
    transaction.rollback();
} finally {
    transaction.close();
}
shpStore.dispose();

谢谢您的帮助！

---

所以我测试了你的解决方案，但没有什么比这对我更有帮助了......完成时间仍然相同。这是我的表定义：

• fid serial 10
• the_geom Geometry 2147483647
• xxx varchar 10
• xxx int4 10
• xxx varchar 3
• xxx varchar 2
• xxx float8 17
• xxx float8 17
• xxx float8 17

所以我不认为问题直接链接到我的代码或数据库，可能是由于系统限制（RAM、缓冲区...）。我将在接下来的几天内看看这个。

您还有更多想法吗？

Answer 1

我带着这个问题的解决方案回来了。经过多次调查，我发现物理网络是问题所在：使用本地数据库（geotools 应用程序本地）没有问题。网络为每个 INSERT 语句请求添加了 200 或 300 毫秒。随着大量数据注入数据库，响应时间变得很长！

所以原始的 Postgis 配置或我的代码片段没有问题...

感谢大家的参与。

Answer 2

您可以通过以下步骤检查数据库中的索引或 PK/FK 约束是否确实是瓶颈：

1) 确保数据插入到单个事务中（禁用自动提交）

2) 删除所有索引并在执行后重新创建它们数据导入（您不能禁用索引）

DROP INDEX my_index;
CREATE INDEX my_index ON my_table (my_column);

3) 删除或禁用 PK/FK 约束，并在数据导入后重新创建或重新启用它们。您可以在数据导入期间跳过 PK/FK 约束的检查，而不必使用以下方法删除它们。

ALTER TABLE my_table DISABLE trigger ALL;
-- data import
ALTER TABLE my_table ENABLE trigger ALL;

此方法的缺点是，在检查时插入/更新的数据不会检查 PK/FK 约束被禁用。当然，当您在数据导入后重新创建现有数据时，也会对现有数据强制执行 PK/FK 约束。

您还可以将 PK/FK 约束的检查推迟到事务结束时。当且仅当 PK/FK 约束被定义为可延迟（不是默认值）：

ALTER TABLE my_table ADD PRIMARY KEY (id) DEFERRABLE INITIALLY DEFERRED;

START TRANSACTION;
-- data import
COMMIT; -- constraints are checked here

或

ALTER TABLE my_table ADD PRIMARY KEY (id) DEFERRABLE INITIALLY IMMEDIATE;

START TRANSACTION;
SET CONSTRAINTS ALL DEFERRED;
-- data import
COMMIT; -- constraints are checked here

编辑：

要缩小问题原因的范围时，您可以导入数据与您的应用程序，创建数据库转储（使用插入语句）并再次导入该数据库转储。这应该可以让您了解简单导入需要多长时间以及应用程序的开销是多少。

使用 INSERT 语句创建数据库的纯数据转储（COPY 语句会更快，但您的应用程序也使用插入，因此这更适合比较）：

pg_dump <数据库>; --data-only --column-inserts -f data.sql

再次创建空数据库架构并导入数据（使用基本计时）：

date; psql <数据库> --single-transaction -f data.sql > > /dev/null； date

也许你可以通过这个更深入地了解问题。