在 Python 脚本中存储数据块的 Pythonic 方式是什么？

Question

Perl 允许我在脚本中使用 __DATA__ 标记来标记数据块的开始。我可以使用 DATA 文件句柄读取数据。在脚本中存储数据块的 Pythonic 方式是什么？

Answer 1

这取决于您的数据，但是字典文字和多行字符串都是非常好的方法。

state_abbr = {
    'MA': 'Massachusetts',
    'MI': 'Michigan',
    'MS': 'Mississippi',
    'MN': 'Minnesota',
    'MO': 'Missouri',
    }

gettysburg = """
Four score and seven years ago,
our fathers brought forth on this continent
a new nation, 
conceived in liberty
and dedicated to the proposition
that all men are created equal.
"""

Answer 2

使用 StringIO 模块创建一个类似源文件的对象：

from StringIO import StringIO

textdata = """\
Now is the winter of our discontent,
Made glorious summer by this sun of York.
"""

# in place of __DATA__ = open('richard3.txt')
__DATA__ = StringIO(textdata)
for d in __DATA__:
    print d

__DATA__.seek(0)
print __DATA__.readline()

打印：（

Now is the winter of our discontent,

Made glorious summer by this sun of York.

Now is the winter of our discontent,

我只是将此称为 __DATA__ 来与您原来的问题保持一致。实际上，这不是一个好的 Python 命名风格 - 某些东西像 datafile 会更合适。）

Answer 3

在我看来，它很大程度上取决于数据的类型：如果您只有文本并且可以确定其中不存在任何可能存在的“”或“””，则可以使用此版本的存储文本。但是什么例如，如果您想要在已知存在或可能存在“”或“””的地方存储一些文本，该怎么办？那么建议

• 要么存储以任何方式编码的数据，要么
• 将其放入单独的文件中

示例：文本是

Python 库中有很多“'”和“”。

在这种情况下，通过三引号可能很难做到。所以你可以这样做，

__DATA__ = """There are many '''s and \"""s in Python libraries.""";
print __DATA__

但是在编辑或替换文本时你必须注意。
更有用

$ python -c 'import sys; print sys.stdin.read().encode("base64")'
There are many '''s and """s in Python libraries.<press Ctrl-D twice>

在这种情况下，这样做可能比获得

VGhlcmUgYXJlIG1hbnkgJycncyBhbmQgIiIicyBpbiBQeXRob24gbGlicmFyaWVzLg==

输出 。将其放入您的脚本中，例如并

__DATA__ = 'VGhlcmUgYXJlIG1hbnkgJycncyBhbmQgIiIicyBpbiBQeXRob24gbGlicmFyaWVzLg=='.decode('base64')
print __DATA__

查看结果。

Answer 4

由于不熟悉 Perl 的 __DATA__ 变量，Google 告诉我它经常用于测试。假设您也在考虑测试您的代码，您可能需要考虑 doctest (http://docs.python.org/library/doctest.html)。例如，不要

import StringIO

__DATA__ = StringIO.StringIO("""lines
of data
from a file
""")

假设您希望 DATA 成为您现在拥有的文件对象，并且您可以像将来的大多数其他文件对象一样使用它。例如：

if __name__=="__main__":
    # test myfunc with test data:
    lines = __DATA__.readlines()
    myfunc(lines)

但是，如果 DATA 的唯一用途是用于测试，那么您最好在 PyUnit / Nose 中创建文档测试或编写测试用例。

例如：

import StringIO

def myfunc(lines):
    r"""Do something to each line

    Here's an example:

    >>> data = StringIO.StringIO("line 1\nline 2\n")
    >>> myfunc(data)
    ['1', '2']
    """
    return [line[-2] for line in lines]

if __name__ == "__main__":
    import doctest
    doctest.testmod()

像这样运行这些测试：

$ python ~/doctest_example.py -v
Trying:
    data = StringIO.StringIO("line 1\nline 2\n")
Expecting nothing
ok
Trying:
    myfunc(data)
Expecting:
    ['1', '2']
ok
1 items had no tests:
    __main__
1 items passed all tests:
   2 tests in __main__.myfunc
2 tests in 2 items.
2 passed and 0 failed.
Test passed.

Doctest 做了很多不同的事情，包括在纯文本文件中查找 python 测试并运行它们。就我个人而言，我不是一个忠实的粉丝，更喜欢更结构化的测试方法（import unittest），但它无疑是一种测试代码的 Python 方法。