试图导出一个SQL表，但使用Python＆＃x2B; pyodbc和pandas

Question

您好，我试图将非常大的SQL表（约170万行）导出到Excel或CSV文件中，我的问题是当我不指定块质量时，我会遇到内存限制错误，我猜数据太大了存储在内存中。现在，我已经通过了一个大块，我遇到了不同的错误。

错误 - VisibleDeprecationWarning：从破烂的嵌套序列中创建一个ndarray（这是列出的或列表，或tuples-or-tuples-or-tuples-or ndarrays或不同长度或形状的ndarray）。如果要执行此操作，则必须在创建NDARRAY时指定“ dtype =对象”。 值= np.Array（[v in values中的V convert（v）]）

代码：

import pyodbc
import pandas as pd


conn = pyodbc.connect('Driver={SQL Server};'
                      'Server=servername;'
                      'Database=DB01;'
                      'Trusted_Connection=yes;')


sql_query = pd.read_sql_query("select * from calltype", conn, chunksize=1000, dtype=object)
df = pd.DataFrame(sql_query)
df.to_excel(r'C:\Users\user\Documents\BackupTest1.xlsx', index=False)
print("Records Exported")'''

Answer 1

我会查看本文，看看这些解决方案中的任何一个是否适合您。

绕过pandas记忆限制

基于您写的内容的错误，因此，如果您的数据正确导出，这可能不是问题，但是您进行了一些数据验证以检查。另外，将dtype定义为对象可能会使警告消失。