如何将txt文件中的数据写入数据库？

Question

如果我有一个具有一定行数和列数的txt（一开始未知列数，列之间用制表符分隔），如何将数据导出到数据库中？我已经设法迭代第一行来计算列数并相应地创建一个表，但现在我需要遍历每一行并将数据插入到相应的列中。我怎样才能做到这一点？

txt 文件示例：

Name Size Population GDP
aa 2344 1234 12
bb 2121 3232 15
... ... .. .. 
.. .. .. ..

表已创建：

CREATE TABLE random id INT, Name char(20), Size INT, Population INT, GDP INT 

Answer 1

困难的部分是在文本字段中阅读。根据您的定义，字段标题由空格分隔。对于文本字段来说是这样吗？

通用过程是：

Create an SQL CREATE statement from the header text.
Execute the SQL statement.
While reading a line of text doesn't fail do
    Parse the text into variables.
    Create an SQL INSERT statement using field names and values from the variables.
    Execute the SQL statement.
End-While

另一种解决方案是将 TXT 文件转换为制表符或逗号分隔字段。检查您的数据库文档，看看是否有加载文件的功能，并发现用于分隔列的字符。

如果您需要具体帮助，请提出更具体或更详细的问题。

Answer 2

使用 PostgreSQL 的 COPY 命令，如下所示：

COPY random FROM 'filename' WITH DELIMITER '\t'

Answer 3

像这样的东西可能会起作用。
基本思想是使用打印语句将行转换为 SQL 命令。
然后您可以使用 sql 命令解释器执行这些命令。

cat textfile.txt | sed 's/^\([^ ]*\) /'\1' /; s/[ \t]+/,/g;' | awk '($NR!=1) {print "INSERT INTO random (Name,size,population,gdp) VALUES (" $0 ");" }' > sqlcommands.txt

对于未知数量的列，这可能有效。

cat textfile.txt | sed 's/^\([^ ]*\) /'\1' /; s/[ \t]+/,/g;' | awk '($NR!=1) {print "INSERT INTO random VALUES (ID," $0 ");" }' > sqlcommands.txt

将 ID 替换为所需的 id 值。但您需要为每个 ID 值单独执行它。

Answer 4

我使用 Sybase，其中“bcp”实用程序执行此操作。快速谷歌“postgres bcp”带来了这个：

http://lists.plug.phoenix.az.us/pipermail/plug-devel/2000-October/000103.html

我意识到这不是最好的答案，但我希望足以让你继续前进。

哦，您可能需要更改文本格式，使其以逗号或制表符分隔。为此使用 sed。