setuptools：包数据文件夹位置

Question

我使用 setuptools 来分发我的 python 包。现在我需要分发额外的数据文件。

根据我从 setuptools 文档中收集的信息，我需要将数据文件放在包目录中。但是，我宁愿将数据文件放在根目录的子目录中。

我想避免的：

/ #root
|- src/
|  |- mypackage/
|  |  |- data/
|  |  |  |- resource1
|  |  |  |- [...]
|  |  |- __init__.py
|  |  |- [...]
|- setup.py

我想要的：

/ #root
|- data/
|  |- resource1
|  |- [...]
|- src/
|  |- mypackage/
|  |  |- __init__.py
|  |  |- [...]
|- setup.py

如果不是必需的，我只是对拥有这么多子目录感到不舒服。我找不到原因，为什么我 /have/ 将文件放在包目录中。恕我直言，使用如此多的嵌套子目录也很麻烦。或者有什么充分的理由可以证明这种限制是合理的吗？

Answer 1

选项 1：作为包数据安装

将数据文件放置在 Python 包的根目录中的主要优点
是它可以让您不必担心文件将存放在用户的何处
系统，可能是 Windows、Mac、Linux、某些移动平台或 Egg 内。你可以
始终找到相对于 Python 包根目录的 data 目录，无论它安装在何处或如何安装。

例如，如果我有一个像这样的项目布局：

project/
    foo/
        __init__.py
        data/
            resource1/
                foo.txt

您可以向 __init__.py 添加一个函数来定位数据的绝对路径
file:

import os

_ROOT = os.path.abspath(os.path.dirname(__file__))
def get_data(path):
    return os.path.join(_ROOT, 'data', path)

print get_data('resource1/foo.txt')

输出：

/Users/pat/project/foo/data/resource1/foo.txt

项目作为 Egg 安装后，data 的路径将会更改，但代码不需要更改：

/Users/pat/virtenv/foo/lib/python2.6/site-packages/foo-0.0.0-py2.6.egg/foo/data/resource1/foo.txt

---

选项 2：安装到固定位置

另一种方法是将数据放在 Python 包之外，然后
要么：

1. 通过配置文件传入 data 的位置，
   命令行参数或
2. 将位置嵌入到您的 Python 代码中。

如果您打算分发项目，那么这是不太理想的。如果您确实想要这样做，您可以通过传入元组列表来指定每组文件的目标，从而将数据安装在目标系统上的任何位置：

from setuptools import setup
setup(
    ...
    data_files=[
        ('/var/data1', ['data/foo.txt']),
        ('/var/data2', ['data/bar.txt'])
        ]
    )

更新：递归 grep Python 文件的 shell 函数示例：

atlas% function grep_py { find . -name '*.py' -exec grep -Hn $* {} \; }
atlas% grep_py ": \["
./setup.py:9:    package_data={'foo': ['data/resource1/foo.txt']}

Answer 2

我认为我找到了一个很好的折衷方案，它允许您维护以下结构：

/ #root
|- data/
|  |- resource1
|  |- [...]
|- src/
|  |- mypackage/
|  |  |- __init__.py
|  |  |- [...]
|- setup.py

您应该将数据安装为 package_data，以避免 Samplebias 答案中描述的问题，但为了维护文件结构，您应该添加到 setup.py 中：

try:
    os.symlink('../../data', 'src/mypackage/data')
    setup(
        ...
        package_data = {'mypackage': ['data/*']}
        ...
    )
finally:
    os.unlink('src/mypackage/data')

通过这种方式，我们“及时”创建适当的结构，并保持源代码树的组织。

要在代码中访问此类数据文件，您“只需”使用：

data = resource_filename(Requirement.parse("main_package"), 'mypackage/data')

我仍然不喜欢必须指定代码中的“mypackage”，因为数据可能与此模块无关，但我想这是一个很好的妥协。

Answer 3

我可以使用 importlib_resources 或 importlib.resources （取决于 python 版本）。

https://importlib-resources.readthedocs.io/en/latest/using。 html

Answer 4

我认为您基本上可以将任何内容作为参数 *data_files* 提供给 setup()。