将utf-8编码的文本加载到MySQL表中

发布于 2024-10-17 04:54:41 字数 217 浏览 3 评论 0原文

我有一个大的 CSV 文件，我要将其加载到 MySQL 表中。然而，这些数据被编码为utf-8格式，因为它们包含一些非英语字符。我已经将表中相应列的字符集设置为utf-8。但是当我加载我的文件时。非英语字符变成奇怪的字符（当我在表行上进行选择时）。在将数据加载到表中之前是否需要对数据进行编码？如果是的话我该怎么做。我正在使用 Python 加载数据并使用 LOAD DATA LOCAL INFILE 命令。谢谢

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

独﹏钓一江月 2024-10-24 04:54:41

尝试

LOAD DATA INFILE 'file'
IGNORE INTO TABLE table
CHARACTER SET UTF8
FIELDS TERMINATED BY ';'
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n'

Try

LOAD DATA INFILE 'file'
IGNORE INTO TABLE table
CHARACTER SET UTF8
FIELDS TERMINATED BY ';'
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n'

回复收藏 0 原文

深空失忆 2024-10-24 04:54:41

正如 http://dev.mysql.com/doc/ 中所述refman/5.1/en/load-data.html,
您可以使用 LOAD DATA LOCAL INFILE 的“CHARACTER SET”可选参数指定 CSV 文件使用的字符集

回复收藏 0 原文

黑色毁心梦 2024-10-24 04:54:41

不需要对文件中的字符进行编码，但在将此文件加载到数据库之前，您需要确保文件采用 UTF-8 编码。

回复收藏 0 原文

心碎的声音 2024-10-24 04:54:41

你应该

init_command = 'SET NAMES UTF8'
use_unicode = True
charset = 'utf8'

在执行 MySQLdb.connect() 时发送
例如

dbconfig = {}
dbconfig['host']            = 'localhost'
dbconfig['user']            = ''
dbconfig['passwd']          = ''
dbconfig['db']              = ''
dbconfig['init_command']    = 'SET NAMES UTF8'
dbconfig['use_unicode']     = True
dbconfig['charset']         = 'utf8'

conn = MySQLdb.connect(**dbconfig)

编辑：啊，抱歉，我看到您已经添加了您正在使用“LOAD DATA LOCAL INFILE”——这从您最初的问题中并不清楚:)

You should send

init_command = 'SET NAMES UTF8'
use_unicode = True
charset = 'utf8'

when doing MySQLdb.connect()
e.g.

dbconfig = {}
dbconfig['host']            = 'localhost'
dbconfig['user']            = ''
dbconfig['passwd']          = ''
dbconfig['db']              = ''
dbconfig['init_command']    = 'SET NAMES UTF8'
dbconfig['use_unicode']     = True
dbconfig['charset']         = 'utf8'

conn = MySQLdb.connect(**dbconfig)

edit: ah, sorry, I see you've added that you're using "LOAD DATA LOCAL INFILE" -- this wasn't clear from your initial question :)

回复收藏 0 原文