I. 教程
II. SQL 语言
III. 服务器管理
- 章14. 安装指导
- 章15. 在 Windows 上安装客户端
- 章16. 操作系统环境
- 章17. 服务器配置
- 章18. 数据库角色和权限
- 章19. 管理数据库
- 章21. 区域
- 章20. 用户认证
- 章22. 日常数据库维护工作
- 章23. 备份与恢复
- 章24. 高可用性与负载均衡
- 章25. 监控数据库的活动
- 章26. 监控磁盘使用情况
- 章27. 可靠性和预写式日志
- 章28. 回归测试
IV. 客户端接口
- Chapter 28. libpq - C 库
- 章29.
- Chapter 30. ecpg - 在 C 里嵌入 SQL
- Chapter 31. 信息模式
- 31.2. 数据类型
- 31.3. informationschemacatalog_name
- 31.4. applicable_roles
- 31.5. check_constraints
- 31.6. columndomainusage
- 31.7. column_privileges
- 31.8. columnudtusage
- 31.9. columns
- 31.10. constraintcolumnusage
- 31.11. constrainttableusage
- 31.12. datatypeprivileges
- 31.13. domain_constraints
- 31.14. domainudtusage
- 31.15. domains
- 31.16. element_types
- 31.17. enabled_roles
- 31.18. keycolumnusage
- 31.20. referential_constraints
- 31.21. rolecolumngrants
- 31.22. roleroutinegrants
- 31.23. roletablegrants
- 31.24. roleusagegrants
- 31.25. routine_privileges
- 31.26. routines
- 31.27. schemata
- 31.28. sql_features
- 31.29. sqlimplementationinfo
- 31.30. sql_languages
- 31.31. sql_packages
- 31.32. sql_sizing
- 31.33. sqlsizingprofiles
- 31.34. table_constraints
- 31.35. table_privileges
- 31.36. tables
- 31.37. triggers
- 31.38. usage_privileges
- 31.39. viewcolumnusage
- 31.40. viewtableusage
- 31.41. views
V. 服务器端编程
- 章33. 扩展 SQL
- 章34. 触发器
- 章35. 规则系统
- 章36. 过程语言
- 章37. PL/pgSQL - SQL 过程语言
- 章38. PL/Tcl - Tcl 过程语言
- 章39. PL/Perl - Perl 过程语言
- 章40. PL/Python - Python 过程语言
- 章41. 服务器编程接口
VI. 参考手册
- I. SQL 命令
- ABORT
- ALTER AGGREGATE
- ALTER CONVERSION
- ALTER DATABASE
- ALTER DOMAIN
- ALTER FUNCTION
- ALTER GROUP
- ALTER INDEX
- ALTER LANGUAGE
- ALTER OPERATOR
- ALTER OPERATOR CLASS
- ALTER ROLE
- ALTER SCHEMA
- ALTER SEQUENCE
- ALTER TABLE
- ALTER TABLESPACE
- ALTER TRIGGER
- ALTER TYPE
- ALTER USER
- ANALYZE
- BEGIN
- CHECKPOINT
- CLOSE
- CLUSTER
- COMMENT
- COMMIT PREPARED
- COMMIT
- COPY
- CREATE AGGREGATE
- CREATE CAST
- CREATE CONSTRAINT TRIGGER
- CREATE CONVERSION
- CREATE DATABASE
- CREATE DOMAIN
- CREATE FUNCTION
- CREATE GROUP
- CREATE INDEX
- CREATE LANGUAGE
- CREATE OPERATOR CLASS
- CREATE OPERATOR
- CREATE ROLE
- CREATE RULE
- CREATE SCHEMA
- CREATE SEQUENCE
- CREATE TABLE
- CREATE TABLE AS
- CREATE TABLESPACE
- CREATE TRIGGER
- CREATE TYPE
- CREATE USER
- CREATE VIEW
- DEALLOCATE
- DECLARE
- DELETE
- DROP OWNED
- DROP AGGREGATE
- DROP CAST
- DROP CONVERSION
- DROP DATABASE
- DROP DOMAIN
- DROP FUNCTION
- DROP GROUP
- DROP INDEX
- DROP LANGUAGE
- DROP OPERATOR CLASS
- DROP OPERATOR
- DROP ROLE
- DROP RULE
- DROP SCHEMA
- DROP SEQUENCE
- DROP TABLE
- DROP TABLESPACE
- DROP TRIGGER
- DROP TYPE
- DROP USER
- DROP VIEW
- END
- EXECUTE
- EXPLAIN
- FETCH
- GRANT
- INSERT
- LISTEN
- LOAD
- LOCK
- MOVE
- NOTIFY
- PREPARE TRANSACTION
- PREPARE
- REASSIGN OWNED
- REINDEX
- RELEASE SAVEPOINT
- RESET
- REVOKE
- ROLLBACK PREPARED
- ROLLBACK TO SAVEPOINT
- ROLLBACK
- SAVEPOINT
- SELECT
- SELECT INTO
- SET
- SET CONSTRAINTS
- SET ROLE
- SET SESSION AUTHORIZATION
- SET TRANSACTION
- SHOW
- START TRANSACTION
- TRUNCATE
- UNLISTEN
- UPDATE
- VACUUM
- II. PostgreSQL 客户端应用程序
- III. PostgreSQL 服务器应用程序
VII. 内部
- 章42. PostgreSQL 内部概貌
- 章43. 系统表
- 43.1. 概述
- 43.2. pg_aggregate
- 43.3. pg_am
- 43.4. pg_amop
- 43.5. pg_amproc
- 43.6. pg_attrdef
- 43.7. pg_attribute
- 43.8. pg_authid
- 43.9. pgauthmembers
- 43.10. pg_autovacuum
- 43.11. pg_cast
- 43.12. pg_class
- 43.13. pg_constraint
- 43.14. pg_conversion
- 43.15. pg_database
- 43.16. pg_depend
- 43.17. pg_description
- 43.18. pg_index
- 43.19. pg_inherits
- 43.20. pg_language
- 43.21. pg_largeobject
- 43.22. pg_listener
- 43.23. pg_namespace
- 43.24. pg_opclass
- 43.25. pg_operator
- 43.26. pg_pltemplate
- 43.27. pg_proc
- 43.28. pg_rewrite
- 43.29. pg_shdepend
- 43.30. pg_shdescription
- 43.31. pg_statistic
- 43.32. pg_tablespace
- 43.33. pg_trigger
- 43.34. pg_type
- 43.35. 系统视图
- 43.36. pg_cursors
- 43.37. pg_group
- 43.38. pg_indexes
- 43.39. pg_locks
- 43.40. pgpreparedstatements
- 43.41. pgpreparedxacts
- 43.42. pg_roles
- 43.43. pg_rules
- 43.44. pg_settings
- 43.45. pg_shadow
- 43.46. pg_stats
- 43.47. pg_tables
- 43.48. pgtimezoneabbrevs
- 43.49. pgtimezonenames
- 43.50. pg_user
- 43.51. pg_views
- 章44. 前/后端协议
- 章45. PostgreSQL 编码约定
- 章46. 本地语言支持
- 章47. 书写一个过程语言处理器
- 章48. 基因查询优化器
- 章49. 索引访问方法接口定义
- 章50. GiST 索引
- 章51. GIN 索引
- 章52. 数据库物理存储
- 章53. BKI 后端接口
- 章54. 规划器如何使用统计信息
VIII. 附录
13.4. 向数据库中添加记录
第一次填充数据库时可能需要做大量的表插入。下面是一些建议,可以尽可能高效地处理这些事情。
13.4.1. 关闭自动提交
关闭自动提交,并且只在每次(数据拷贝)结束的时候做一次提交。在纯 SQL 里,这就意味着在开始的时候发出 BEGIN
并且在结束的时候执行 COMMIT
。有些客户端的库可能背着你干这些事情,这种情况下你必须确信只有在你确实要那些库干这些事情的时候它才做。如果你允许每个插入都独立地提交,那么 PostgreSQL 会为所增加的每行记录做大量的处理。在一个事务里完成所有插入的动作的最大的好处就是,如果有一条记录插入失败,那么,到该点为止的所有已插入记录都将被回滚,这样你就不会很难受地面对一个只装载了一部分数据的表。
13.4.2. 使用 COPY
使用 COPY 在一条命令里装载所有记录,而不是一连串的 INSERT
命令。COPY
命令是为装载数量巨大的数据行优化过的;它没 INSERT
那么灵活,但是在大量装载数据的情况下,导致的荷载也少很多。因为 COPY
是单条命令,因此填充表的时候就没有必要关闭自动提交了。
如果你不能使用 COPY
,那么使用 PREPARE 来创建一个预备 INSERT
,然后使用 EXECUTE
多次效率更高。这样就避免了重复分析和规划 INSERT
的开销。
请注意,在装载大量数据行的时候,COPY
几乎总是比 INSERT
快,即使使用了 PREPARE
并且把多个 INSERT
命令绑在一个事务中也是这样。
13.4.3. 删除索引
如果你正在装载一个新创建的表,最快的方法是创建表,用 COPY
批量装载,然后创建表需要的任何索引。在已存在数据的表上创建索引要比递增地更新所装载的每一行记录要快。
如果你对现有表增加大量的数据,可能先删除索引,装载表,然后重新创建索引更快些。当然,在缺少索引的期间,其它数据库用户的数据库性能将有负面的影响。并且我们在删除唯一索引之前还需要仔细考虑清楚,因为唯一约束提供的错误检查在缺少索引的时候会消失。
13.4.4. 删除外键约束
和索引一样,"批量地"检查外键约束比一行行检查更高效。因此,也许我们先删除外键约束,装载数据,然后重建约束会更高效。同样,装载数据和缺少约束而失去错误检查之间也有一个平衡。
13.4.5. 增大 maintenance_work_mem
在装载大量的数据的时候,临时增大 maintenance_work_mem 配置变量可以改进性能。这个参数也可以帮助加速 CREATE INDEX
和 ALTER TABLE ADD FOREIGN KEY
命令。它不会对 COPY
本身有多大作用,所以这个建议只有在你使用上面的两个技巧时才有效。
13.4.6. 增大 checkpoint_segments
临时增大 checkpoint_segments 配置变量也可以让大量数据装载得更快。这是因为向 PostgreSQL 里面装载大量的数据可以导致检查点操作(由配置变量 checkpoint_timeout
声明)比平常更加频繁发生。在发生一个检查点的时候,所有脏数据都必须刷新到磁盘上。通过在大量数据装载的时候临时增加 checkpoint_segments
,所要求的检查点的数目可以减少。
13.4.7. 事后运行 ANALYZE
Afterwards
不管什么时候,如果你在增加或者更新了大量数据之后,运行 ANALYZE 都是个好习惯。运行 ANALYZE
或者 VACUUM ANALYZE
可以保证规划器有表数据的最新统计。如果没有统计数据或者统计数据太陈旧,那么规划器可能选择很差劲的查询规划,导致表的查询性能恶化。
13.4.8. pg_dump 的一些注意事项
pg_dump 生成的转储脚本自动使用上面的若干个技巧,但不是全部。要尽可能快地装载 pg_dump 转储,我们需要手工做几个事情。请注意,这些要点适用于恢复一个转储,而不是创建一个转储的时候。同样的要点也适用于使用 pg_restore 从 pg_dump 归档文件装载数据的时候。
缺省的时候,pg_dump 使用 COPY
,在它生成一个完整的模式和数据的转储的时候,它会很小心地先装载数据,然后创建索引和外键。因此,在这个情况下,头几条技巧是自动处理的。你需要做的只是在装载转储脚本之前设置比正常状况大的 maintenance_work_mem
和 checkpoint_segments
值,然后在装载完成之后运行 ANALYZE
。
只保存数据的转储仍然会使用 COPY
,但是它不会删除或者重建索引,并且它不会自动修改外键。[1]因此,在装载只有数据的转储的时候,是否使用删除以及重建索引和外键等技巧完全取决于你。装载数据的时候,增大 checkpoint_segments
仍然是有用的,但是增大 maintenance_work_mem
就没什么必要了;你只是应该在事后手工创建索引和外键的事后增大它。最后结束时不要忘记 ANALYZE
命令。
注意
[1] | 你可以通过使用 |
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论