pandas .to_sql（）输出超过尺寸限制

Question

我正在使用pydobc和sqlalchemy将数据插入SQL Server中的表格，并且遇到了此错误。

https：//i.sstatic.net/misp9.png 使用。

这是我用来连接到SQL Server（使用Fast_executeMany）的功能

def connect(server, database):
    global cnxn_str, cnxn, cur, quoted, engine
    cnxn_str = ("Driver={SQL Server Native Client 11.0};"
                "Server=<server>;"
                "Database=<database>;"
                "UID=<user>;"
                "PWD=<password>;")
    cnxn = pyodbc.connect(cnxn_str)
    cur = cnxn.cursor()
    cur.fast_executemany=True

    quoted = quote_plus(cnxn_str)
    engine = create_engine('mssql+pyodbc:///?odbc_connect={}'.format(quoted), fast_executemany=True)

，这是我用来查询和将数据插入SQL Server的功能，

def insert_to_sql_server():
    global df, np_array
    
    # Dataframe df is from a numpy array dtype = object
    df = pd.DataFrame(np_array[1:,],columns=np_array[0])
    
    # add new columns, data processing
    df['comp_key'] = df['col1']+"-"+df['col2'].astype(str)
    df['comp_key2'] = df['col3']+"-"+df['col4'].astype(str)+"-"+df['col5'].astype(str)
    df['comp_statusID'] = df['col6']+"-"+df['col7'].astype(str)

    convert_dict = {'col1': 'string', 'col2': 'string', ..., 'col_n': 'string'}
    
    # convert data types of columns from objects to strings
    df = df.astype(convert_dict)

    connect(<server>, <database>)
    cur.rollback()

    # Delete old records
    cur.execute("DELETE FROM <table>")

    cur.commit()

    # Insert dataframe to table
    df.to_sql(<table name>, engine, index=False, \
        if_exists='replace', schema='dbo', chunksize=1000, method='multi')

插入功能运行约30分钟，然后最终返回错误消息。

使用较小的DF尺寸时，我没有遇到任何错误。当前的DF大小是27963行和9列。我认为有助于错误的一件事是字符串的长度。默认情况下，numpy数组为dtype ='＆lt; u25'，但是我必须将其覆盖为dtype ='对象'，因为它正在截断文本数据。

我没有想法，因为错误似乎是指熊猫或SQL Server的局限性，而SQL Server我不熟悉。

谢谢

Answer 1

感谢您的所有输入（在这里仍然是新的）！意外偶然发现了解决方案，这是通过从

df.to_sql（chunksize = 1000）

降低到

df.to_sql（chunksize = 200）

在挖掘后转弯后，通过 df.to_sql（chunksize = 1000） SQL Server有一个限制（ httpps://discuss.dizzycoding.com/to_sql-pyodbc -count-field-correct-orsyntax-error/）

Answer 2

就我而言，我的“输出超过尺寸限制”错误，并将其修复为df.to_sql中的“ method ='multi'”（方法='multi'）。
首先，我尝试了“ Chuncksize”解决方案，但它不起作用。
所以...检查您是否处于相同的情况！

with engine.connect().execution_options(autocommit=True) as conn:
    df.to_sql('mytable', con=conn, method='multi', if_exists='replace', index=True)

Answer 3

您可以在将数据插入服务器表中显示进度栏，可以使用tqdm库。这是一个例子：

import pandas as pd
from sqlalchemy import create_engine
from tqdm import tqdm

# Define the SQL Server connection string
server = 'your_server_name'
database = 'your_database_name'
table_name = 'your_table_name'
connection_string = f'mssql+pyodbc://@{server}/{database}?trusted_connection=yes&driver=ODBC+Driver+17+for+SQL+Server'

# Create the SQLAlchemy engine
engine = create_engine(connection_string)

# Set the chunk size
chunk_size = 10000  # Adjust this value based on your requirements

# Get the total number of chunks
total_chunks = len(df) // chunk_size + (len(df) % chunk_size > 0)

# Create a progress bar
progress_bar = tqdm(total=total_chunks, desc='Inserting data', unit='chunk')

# Function to generate chunks of the DataFrame
def chunker(seq, size):
    return (seq[pos:pos + size] for pos in range(0, len(seq), size))

# Insert the DataFrame in chunks
for i, chunk in enumerate(chunker(df, chunk_size)):
    replace = 'replace' if i == 0 else 'append'

    # Check if the chunk contains any new data
    if i == 0 or chunk.isin(existing_data).sum().sum() < len(chunk):
        # Insert the chunk into the SQL Server table
        chunk.to_sql(name=table_name, con=engine, if_exists=replace, index=False)

    # Update the progress bar
    progress_bar.update()

# Close the progress bar
progress_bar.close()

# Print a message when the insertion is complete
print('Data insertion complete.')