imp.find_module 的替代品？

Question

背景

当您使用命名空间包并将代码库划分为单独的文件夹时，我已经厌倦了 pylint 无法导入文件的问题。因此，我开始深入研究 astNG 源代码，该源代码已被确定为问题的根源（请参阅错误报告 8796 on astng）。问题的核心似乎是在查找导入的过程中使用了 python 自己的imp.find_module。

发生的情况是，导入的第一个（子）包 - import abc 中的 a - 被馈送到带有 Nonefind_module代码>路径。无论返回的路径是什么，都会被输入到查找循环中的下一个遍中的 find_module 中，您将在上一个示例中尝试查找 b 。

来自 logilab.common.modutils 的伪代码：

path = None
while import_as_list:
      try:
           _, found_path, etc = find_module(import_as_list[0], path)
      #exception handling and checking for a better version in the .egg files
      path = [found_path]
      import_as_list.pop(0)

问题

这就是问题所在：您只能从 find_module 获得第一个最佳命中，其中可能包含也可能不包含您的子包。如果您没有找到子包，您将无法退出并尝试下一个子包。

我尝试显式使用 sys.path 而不是 None，以便可以从路径列表中删除结果并进行第二次尝试，但是 python 的模块查找器足够聪明，路径中不必完全匹配，使这种方法无法使用 - 无论如何，据我所知。

热泪盈眶的请求

是否有 find_modules 的替代方案，它将返回所有可能的匹配项或采用排除列表？我也愿意接受完全不同的解决方案。最好不要手动修补 python，但这并非不可能 - 至少对于本地解决方案而言。

（买者自负：我正在运行 python 2.6，由于当前公司政策的原因无法升级，对 p3k 等的建议不会被标记为已接受，除非它是唯一的答案。）

Answer 1

从Python 2.5开始，正确的方法是使用 pkgutil.iter_modules() （对于平面列表）或 pkgutil.walk_packages()< /a> （对于子包树）。两者都与命名空间包完全兼容。

例如，如果我只想查找“jmb”的子包/子模块，我会这样做：

import jmb, pkgutil
for (module_loader, name, ispkg) in pkgutil.iter_modules(jmb.__path__, 'jmb.'):
    # 'name' will be 'jmb.foo', 'jmb.bar', etc.
    # 'ispkg' will be true if 'jmb.foo' is a package, false if it's a module

您还可以使用 iter_modules 或 walk_packages 来遍历 sys.path 上的所有模块；有关详细信息，请参阅上面链接的文档。

Answer 2

我也厌倦了 PyLint 中的这种限制。

我不知道 imp.find_modules() 的替代品，但我想我找到了另一种方法来处理 PyLint 中的命名空间包。请参阅我对您链接到的错误报告的评论 (http://www.logilab.org/ticket/8796)。

这个想法是使用 pkg_resources 来查找命名空间包。这是我对 logilab.common.modutils._module_file() 的补充，就在 while modpath 之后：

  while modpath:
      if modpath[0] in pkg_resources._namespace_packages and len(modpath) > 1:
          module = sys.modules[modpath.pop(0)]
          path = module.__path__

这不是很精致，但只处理顶级命名空间包。

Answer 3

警告+免责声明：尚未测试！

之前：

for part in parts:
    modpath.append(part)
    curname = '.'.join(modpath)
    # ...
    if module is None:
        mp_file, mp_filename, mp_desc = imp.find_module(part, path)
        module = imp.load_module(curname, mp_file, mp_filename, mp_desc)

之后： ^{- 感谢pjeby提及pkgutil！}

for part in parts:
    modpath.append(part)
    curname = '.'.join(modpath)
    # ...
    if module is None:
        # + https://stackoverflow.com/a/14820895/611007
        # # mp_file, mp_filename, mp_desc = imp.find_module(part, path)
        # # module = imp.load_module(curname, mp_file, mp_filename, mp_desc)
        import pkgutil
        mp_file = None
        for loadr,name,ispkg in pkgutil.iter_modules(path=path,prefix='.'.join(modpath[:-1])+'.'):
            if name.split('.')[-1] == part:
                if not hasattr(loadr,'path') and hasattr(loadr,'archive'):
                    # with zips `name` was like '.somemodule'
                    # it gives `RuntimeWarning: Parent module '' not found while handling absolute import`
                    # I expect the name I need to be 'somemodule'
                    # TODO: I don't know why python does this or what the correct usage is.
                    # https://stackoverflow.com/questions/2267984/
                    if name and name[0] == '.':
                        name = name[1:]
                    ldr= loadr.find_module(name,loadr.archive)
                    module = ldr.load_module(name)
                    break
                imploader= loadr.find_module(name,loadr.path)
                mp_file,mp_filename,mp_desc= imploader.file,imploader.filename,imploader.etc
                module = imploader.load_module(imploader.fullname)
                break
        if module is None:
            raise ImportError