如何为与 setuptools、distribute 等配合使用的 twind/twisted 插件编写 setup.py？

Question

Twisted 插件系统 是编写可扩展扭曲应用程序的首选方式。

然而，由于插件系统的结构方式（插件进入twisted/plugins目录，该目录不应该是Python包），编写适当的setup.py来安装这些插件似乎是不可行的。 -琐碎的。

我已经看到一些尝试将“twisted.plugins”添加到 distutils setup 命令的“packages”键中，但由于它不是真正的包，因此会发生不好的事情（例如， __init__.py 由某些工具添加很有帮助）。

其他尝试似乎使用“package_data”代替（例如，http://bazaar.launchpad.net/~glyph/divmod.org/trunk/view/head:/Epsilon/epsilon/setuphelper.py)，但这也可能会以奇怪的方式失败方式。

问题是：有没有人成功编写了一个 setup.py 来安装在所有情况下都有效的扭曲插件？

Answer 1

我在下面记录了一个 setup.py ，仅当您的用户使用 pip < 时才需要该文件。 1.2（例如在 Ubuntu 12.04 上）。如果每个人都有 pip 1.2 或更高版本，那么您唯一需要的是 packages=[..., 'twisted.plugins']。

通过阻止 pip 将“twisted”行写入 .egg-info/top_level.txt，您可以继续使用 packages=[..., 'twisted .plugins'] 并有一个有效的 pip uninstall，但不会删除所有 twisted/。这涉及到 setup.py 顶部附近的 setuptools/distribute 进行猴子修补。这是一个示例 setup.py：

from distutils.core import setup

# When pip installs anything from packages, py_modules, or ext_modules that
# includes a twistd plugin (which are installed to twisted/plugins/),
# setuptools/distribute writes a Package.egg-info/top_level.txt that includes
# "twisted".  If you later uninstall Package with `pip uninstall Package`,
# pip <1.2 removes all of twisted/ instead of just Package's twistd plugins.
# See https://github.com/pypa/pip/issues/355 (now fixed)
#
# To work around this problem, we monkeypatch
# setuptools.command.egg_info.write_toplevel_names to not write the line
# "twisted".  This fixes the behavior of `pip uninstall Package`.  Note that
# even with this workaround, `pip uninstall Package` still correctly uninstalls
# Package's twistd plugins from twisted/plugins/, since pip also uses
# Package.egg-info/installed-files.txt to determine what to uninstall,
# and the paths to the plugin files are indeed listed in installed-files.txt.
try:
    from setuptools.command import egg_info
    egg_info.write_toplevel_names
except (ImportError, AttributeError):
    pass
else:
    def _top_level_package(name):
        return name.split('.', 1)[0]

    def _hacked_write_toplevel_names(cmd, basename, filename):
        pkgs = dict.fromkeys(
            [_top_level_package(k)
                for k in cmd.distribution.iter_distribution_names()
                if _top_level_package(k) != "twisted"
            ]
        )
        cmd.write_file("top-level names", filename, '\n'.join(pkgs) + '\n')

    egg_info.write_toplevel_names = _hacked_write_toplevel_names

setup(
    name='MyPackage',
    version='1.0',
    description="You can do anything with MyPackage, anything at all.",
    url="http://example.com/",
    author="John Doe",
    author_email="[email protected]",
    packages=['mypackage', 'twisted.plugins'],
    # You may want more options here, including install_requires=,
    # package_data=, and classifiers=
)

# Make Twisted regenerate the dropin.cache, if possible.  This is necessary
# because in a site-wide install, dropin.cache cannot be rewritten by
# normal users.
try:
    from twisted.plugin import IPlugin, getPlugins
except ImportError:
    pass
else:
    list(getPlugins(IPlugin))

我已经使用 pip install、pip install --user 和 easy_install< 对此进行了测试/代码>。使用任何安装方法，上面的 Monkeypatch 和 pip uninstall 都可以正常工作。

您可能想知道：我是否需要清除猴子补丁以避免搞乱下次安装？ （例如pip install --no-deps MyPackage Twisted；您不想影响Twisted的top_level.txt。）答案是否定的； Monkeypatch 不会影响其他安装，因为 pip 会为每次安装生成一个新的 python。

相关：请记住，在您的项目中，您必须 不有一个文件 twisted/plugins/__init__.py。如果您在安装过程中看到此警告：

package init file 'twisted/plugins/__init__.py' not found (or not a regular file)

这是完全正常的，您不应该尝试通过添加 __init__.py 来修复它。

Answer 2

以下是一篇博客文章，描述了如何使用“package_data”进行操作：

http://chrismiles.livejournal.com/23399 .html

会以什么奇怪的方式失败？如果包的安装未将包数据放入 sys.path 上的目录中，则可能会失败。在这种情况下，Twisted 插件加载器将找不到它。但是，据我所知，所有 Python 包的安装都会将其放入安装 Python 模块或包本身的同一目录中，因此这不会成为问题。

Answer 3

也许您可以调整 package_data 的想法来使用 data_files ：它不需要您将 twins.plugins 列为包，因为它使用绝对路径。不过，这仍然是一个杂凑。

我对纯 distutils 的测试告诉我，可以覆盖另一个发行版的文件。我想使用 pkgutil.extend_path 和 distutils 测试穷人的命名空间包，结果证明我可以使用 spam.ham/setup.py 和 spam 安装 spam/ham/__init__.py 。 /eggs/__init__.py 与 spam.eggs/setup.py。目录不是问题，但文件会被愉快地覆盖。我认为这实际上是 distutils 中未定义的行为，它会渗透到 setuptools 和 pip，因此在我看来，pip 可以像不会修复一样关闭。

安装 Twisted 插件的常用方法是什么？用手把它扔到这里？

Answer 4

我使用这种方法：

1. 将文件的“.py”和“.pyc”版本放入“twisted/plugins/”文件夹中包裹。
   请注意，“.pyc”文件可以为空，它应该存在。

2. 在setup.py中指定将两个文件复制到库文件夹（确保不会覆盖现有插件！）。例如：

   <前><代码># setup.py

   从 distutils 导入 sysconfig

   LIB_PATH = sysconfig.get_python_lib()

   # ...

   plugin_name = '/twisted/plugins/'
   # '.pyc' 扩展名是正确删除插件所必需的
   数据文件 = [
   (os.path.join(LIB_PATH, '扭曲', '插件'),
   [''.join((plugin_name, extension)) 用于 ('.py', '.pyc') 中的扩展])
   ]

   设置（
   # ...
   数据文件=数据文件
   ）