使用pyodbc连接sqlite3 for fast_executemany

Question

目前，我们使用的程序可以创建并将大型数据集写入数据库，但是该过程可能需要很长时间。我们正在尝试将CURSOR.FAST_EXECUTEMANY = TRUE从SQLalchemy组合在一起，以改善这些数据库的写入时间。当我尝试使用sqlite3和pyodbc创建引擎时，我的代码错误在此处：

import pandas as pd
from sqlite3 import connect
import pyodbc
from sqlalchemy import create_engine

engine = create_engine('SQLite3 ODBC Driver+pyodbc:///C:\\Users\\Documents\\PythonScripts\\FLR.sosat')

conn = engine.connect()
c = conn.cursor()

我们尝试了多种方法，以指定驱动程序和服务器以及类似的内容：

# conn = pyodbc.connect('DRIVER={SQL Server};'
#                       'SERVER=localhost;'
#                       'DATABASE=C:\\Users\\Documents\\PythonScripts\\FLR.sosat')

单个引擎线似乎是由于最接近的工作我们从上面注释的代码中接收驱动程序和服务器错误。我们已经从

我们收到参数：无法从字符串中解析RFC1738 URL。

我们将感谢有关如何将SQLITE3数据库转到PyoDBC以及如何提高写入速度的任何帮助或想法。谢谢！

Note .sosat文件是一个使用SQLite3的数据库文件，它应该像任何.db文件一样工作，

我们从这里尝试了修复程序：使用pyodbc，python 连接到sqlite3服务器，这对我们不起作用，我们收到了驾驶员错误： InterfaceError ：（'im002'，'[im002] [Microsoft] [ODBC驱动程序管理器]找不到数据源名称，并且未指定默认驱动程序（0）（sqldriverConnect）'）

Answer 1

您要完成的工作不会有两个原因：

原因1：

Sqlalchemy不支持PyoDBC作为 sqlite 的dbapi层。

原因2：

即使SQLalchemy确实支持SQLITE+PYODBC：// SQLITE ODBC驱动程序必须支持“参数数组”，这是一个可选的ODBC功能，该功能fast_exececutemany = true true use做魔术。并非所有的ODBC驱动程序支持fast_executemany = true如图所示在这里。使用Vanilla PyoDBC进行快速测试表明，“ SQLITE3 ODBC驱动程序”不支持它，实际上它崩溃了Python Instrymer ：（

crsr.fast_executemany = True
crsr.executemany(
    f"INSERT INTO {table_name} (txt) VALUES (?)", [("foo",), ("bar",)]
)
# Process finished with exit code -1073741819 (0xC0000005)

错误0xc0000005是“访问违规”。）

Answer 2

你尝试过吗？

import sqlite3
db = r'C:\Users\Documents\PythonScripts\FLR.sosat'
conn = sqlite3.connect(db)
print('connection established')