使用 psycopg2 读取 csvData 的好方法

Question

我正在尝试获得一种快速且无需大量代码的将 csv 数据获取到 postgres 数据库的方法。我正在使用 csvDictreader 读取 python，效果很好。然后我需要以某种方式生成代码来获取字典并将其放入表中。我想自动执行此操作，因为我的表通常有数百个变量。 （我不想直接读取 Postgres，因为在很多情况下我必须转换数据，而 python 对此很有用）

这是我所得到的一些内容：

import psycopg2
import sys
import  itertools

import sys, csv
import psycopg2.extras
import psycopg2.extensions

csvReader=csv.DictReader(open( '/home/matthew/Downloads/us_gis_data/statesp020.csv',  "rb"),  delimiter = ',')
#close.cursor()
x = 0
ConnectionString = "host='localhost' dbname='mydb' user='postgres' password='######"
try:
    connection = psycopg2.extras.DictConnection(ConnectionString)
    print "connecting"
except:
    print "did not work"
# Create a test table with some data

dict_cur = connection.cursor()

#dict_cur.execute("CREATE TABLE test (id serial PRIMARY KEY, num integer, data varchar);")
for i in range(1,50):
    x = x+1
    print x
    dict_cur.execute("INSERT INTO test (num, data) VALUES(%s, %s)",(x, 3.6))#"abc'def"))
   ### how to I create the table and insert value using the dictreader?

dict_cur.execute("SELECT * FROM test")
for k in range(0,x+1):
    rec = dict_cur.fetchone()
    print rec['num'], rec['data']

Answer 1

假设您有一个字段名称列表（大概您可以从 csv 文件的标题中获取此列表）：

fieldnames = ['Name', 'Address', 'City', 'State']

假设它们都是 VARCHAR，您可以创建表“TableName”：

sql_table = 'CREATE TABLE TableName (%s)' % ','.join('%s VARCHAR(50)' % name for name in fieldnames)
cursor.execute(sql_table)

您可以从字典“dict”插入行：

sql_insert = ('INSERT INTO TableName (%s) VALUES (%s)' % 
              (','.join('%s' % name for name in fieldnames),
               ','.join('%%(%s)s' % name for name in fieldnames)))
cursor.execute(sql_insert, dict)

或者一次性完成，给定一个列表字典：

dictlist = [dict1, dict2, ...]
cursor.executemany(sql_insert, dictlist)

您可以根据字段的类型和 DictReader 的使用情况进行必要的调整。

Answer 2

我是新手，但这对我有用。我使用 PG Admin 创建“testCSV”表。

import psycopg2 as dbapi

con = dbapi.connect(database="testpg", user="postgres", password="secret")

cur = con.cursor()

import csv
csvObject = csv.reader(open(r'C:\testcsv.csv', 'r'), dialect = 'excel',  delimiter = ',') 

passData = "INSERT INTO testCSV (param1, param2, param3, param4, param5) VALUES (%s,%s,%s,%s,%s);" 

for row in csvObject:  
    csvLine = row       
    cur.execute(passData, csvLine) 

con.commit()