处理在 python、tornado 和 redis 上运行的网站中的外来字符

Question

我已经阅读了许多相关问题，但有点不确定如何处理这种情况。

基本问题：处理网站中的“外来”（希伯来语、希腊语、阿拉姆语？等）字符的最佳方法是什么？

我知道我需要使用 UTF-8 编码，但我不知道其背后的机制。

我使用tornado作为我的框架并将数据存储在redis中。

我当前的实现是简单地将等效的英语键盘存储在数据存储中，然后使用适当的希伯来语/希腊语字体（例如 Bwhebb.ttf）在页面上呈现。这在很大程度上是有效的，但我遇到了一些正在 CGI 编码的字符，这反过来又导致字体方法中断。

Answer 1

您应该将文本保存为 unicode。

import redis
r = redis.Redis(host='localhost', port=6379, db=0)

greek = u'αβγδ'
greek, type(greek)
# (u'\u03b1\u03b2\u03b3\u03b4', <type 'unicode'>)

r.set(u"greek", greek)
# True

虽然当你检索它时，Redis 很可能会给你一个字节字符串，这不是你想要的：

greek2 = r.get(u"greek")
greek2, type(greek2)
# ('\xce\xb1\xce\xb2\xce\xb3\xce\xb4', <type 'str'>)

你想将它转换为 unicode，如下所示：

greek2 = unicode(r.get(u"greek"), "utf-8")
greek2, type(greek2)
# (u'\u03b1\u03b2\u03b3\u03b4', <type 'unicode'>)

Answer 2

阅读评论中给出的文章。

简而言之，将 unicode 存储在 Redis 中，如果您使用的是 Python 2.x，请始终使用 unicode 字符串 (u"")。从 Redis 检索后，您可能必须转换为 unicode (unicode())，具体取决于它为您提供的内容。