sqlite3.ProgrammingError：您不能使用8位字节串，除非您使用可以解释8位字节串的text_factory

Question

在 Python 中使用 SQLite3，我尝试存储 UTF-8 HTML 代码片段的压缩版本。

代码如下所示：

...
c = connection.cursor()
c.execute('create table blah (cid integer primary key,html blob)')
...
c.execute('insert or ignore into blah values (?, ?)',(cid, zlib.compress(html)))

此时出现错误：

sqlite3.ProgrammingError: You must not use 8-bit bytestrings unless you use a text_factory that can interpret 8-bit bytestrings (like text_factory = str). It is highly recommended that you instead just switch your application to Unicode strings.

如果我使用“text”而不是“blob”并且不压缩 HTML 片段，则一切正常（尽管 db 太大）。当我使用“blob”并通过 Python zlib 库压缩时，我收到上述错误消息。我环顾四周，但找不到这个问题的简单答案。

Answer 1

如果你想在sqlite3中使用8位字符串而不是unicode字符串，请为sqlite连接设置适当的text_factory：

connection = sqlite3.connect(...)
connection.text_factory = str

Answer 2

找到了解决方案，我应该多花一点时间搜索。

解决方案是将值“转换”为 Python“缓冲区”，如下所示：

c.execute('insert or ignore into blah values (?, ?)',(cid, buffer(zlib.compress(html))))

希望这对其他人有帮助。

Answer 3

为了使用 BLOB 类型，您必须首先将 zlib 压缩字符串转换为二进制数据 - 否则 sqlite 将尝试将其作为文本字符串处理。这是通过 sqlite3.Binary() 完成的。例如：

c.execute('insert or ignore into blah values (?, ?)',(cid, 
sqlite3.Binary(zlib.compress(html))))

Answer 4

语法：

5种可能的存储类型：NULL、INTEGER、TEXT、REAL和BLOB

BLOB一般用于存储pickled模型或dill pickled模型

> cur.execute('''INSERT INTO Tablename(Col1, Col2, Col3, Col4) VALUES(?,?,?,?)''', 
                                      [TextValue, Real_Value, Buffer(model), sqlite3.Binary(model2)])
> conn.commit()

> # Read Data:
> df = pd.read_sql('SELECT * FROM Model, con=conn) 
> model1 = str(df['Col3'].values[0]))
> model2 = str(df['Col'].values[0]))

Answer 5

您可以使用 repr(html) 而不是原始输出来存储值，然后在检索要使用的值时使用 eval(html)。

c.execute('insert or ignore into blah values (?, ?)',(1, repr(zlib.compress(html))))