Python 中的模拟 ImportError

Question

我现在已经尝试了近两个小时，但没有任何运气。

我有一个如下所示的模块：

try:
    from zope.component import queryUtility  # and things like this
except ImportError:
    # do some fallback operations <-- how to test this?

稍后在代码中：

try:
    queryUtility(foo)
except NameError:
    # do some fallback actions <-- this one is easy with mocking 
    # zope.component.queryUtility to raise a NameError

有什么想法吗？

编辑：

亚历克斯的建议似乎不起作用：

>>> import __builtin__
>>> realimport = __builtin__.__import__
>>> def fakeimport(name, *args, **kw):
...     if name == 'zope.component':
...         raise ImportError
...     realimport(name, *args, **kw)
...
>>> __builtin__.__import__ = fakeimport

运行测试时：

aatiis@aiur ~/work/ao.shorturl $ ./bin/test --coverage .
Running zope.testing.testrunner.layer.UnitTests tests:
  Set up zope.testing.testrunner.layer.UnitTests in 0.000 seconds.


Error in test /home/aatiis/work/ao.shorturl/src/ao/shorturl/shorturl.txt
Traceback (most recent call last):
  File "/usr/lib64/python2.5/unittest.py", line 260, in run
    testMethod()
  File "/usr/lib64/python2.5/doctest.py", line 2123, in runTest
    test, out=new.write, clear_globs=False)
  File "/usr/lib64/python2.5/doctest.py", line 1361, in run
    return self.__run(test, compileflags, out)
  File "/usr/lib64/python2.5/doctest.py", line 1282, in __run
    exc_info)
  File "/usr/lib64/python2.5/doctest.py", line 1148, in report_unexpected_exception
    'Exception raised:\n' + _indent(_exception_traceback(exc_info)))
  File "/usr/lib64/python2.5/doctest.py", line 1163, in _failure_header
    out.append(_indent(source))
  File "/usr/lib64/python2.5/doctest.py", line 224, in _indent
    return re.sub('(?m)^(?!$)', indent*' ', s)
  File "/usr/lib64/python2.5/re.py", line 150, in sub
    return _compile(pattern, 0).sub(repl, string, count)
  File "/usr/lib64/python2.5/re.py", line 239, in _compile
    p = sre_compile.compile(pattern, flags)
  File "/usr/lib64/python2.5/sre_compile.py", line 507, in compile
    p = sre_parse.parse(p, flags)
AttributeError: 'NoneType' object has no attribute 'parse'



Error in test BaseShortUrlHandler (ao.shorturl)
Traceback (most recent call last):
  File "/usr/lib64/python2.5/unittest.py", line 260, in run
    testMethod()
  File "/usr/lib64/python2.5/doctest.py", line 2123, in runTest
    test, out=new.write, clear_globs=False)
  File "/usr/lib64/python2.5/doctest.py", line 1351, in run
    self.debugger = _OutputRedirectingPdb(save_stdout)
  File "/usr/lib64/python2.5/doctest.py", line 324, in __init__
    pdb.Pdb.__init__(self, stdout=out)
  File "/usr/lib64/python2.5/pdb.py", line 57, in __init__
    cmd.Cmd.__init__(self, completekey, stdin, stdout)
  File "/usr/lib64/python2.5/cmd.py", line 90, in __init__
    import sys
  File "<doctest shorturl.txt[10]>", line 4, in fakeimport
NameError: global name 'realimport' is not defined

但是，当我从 python 交互式控制台运行相同的代码时，它确实起作用。

更多编辑：

我正在使用zope.testing和一个测试文件shorturl.txt，其中包含特定于我的这一部分的所有测试模块。首先，我导入可用的 zope.component 模块，以演示&测试一下平时的使用情况。缺少 zope.* 包被认为是一种边缘情况，所以我稍后会对其进行测试。因此，在使 zope.* 不可用之后，我必须以某种方式reload() 我的模块。

到目前为止，我什至尝试使用 tempfile.mktempdir() 和空的 zope/__init__.py 和 zope/component/__init__.py 文件在 tempdir 中，然后将 tempdir 插入到 sys.path[0] 中，并从 sys.modules 中删除旧的 zope.* 包。

也没起作用。

更多编辑：

与此同时，我尝试过这个：

>>> class NoZope(object):
...     def find_module(self, fullname, path):
...         if fullname.startswith('zope'):
...             raise ImportError
... 

>>> import sys
>>> sys.path.insert(0, NoZope())

它对于测试套件的命名空间效果很好（=对于 shorturl.txt 中的所有导入），但它没有在我的主模块 ao.shorturl 中执行。即使我 reload() 也不行。知道为什么吗？

>>> import zope  # ok, this raises an ImportError
>>> reload(ao.shorturl)    <module ...>

导入 zope.interfaces 会引发 ImportError，因此它不会到达我导入 zope.component 的部分，并且它保留在 ao.shorturl 命名空间中。为什么？！

>>> ao.shorturl.zope.component  # why?! 
<module ...>

Answer 1

只需将 Monkeypatch 放入 builtins 你自己版本的 __import__ 中即可——当它识别出在你想要模拟错误的特定模块上调用它时，它可以引发你想要的任何结果。有关详细信息，请参阅文档。粗略地说：

try:
    import builtins
except ImportError:
    import __builtin__ as builtins
realimport = builtins.__import__

def myimport(name, globals, locals, fromlist, level):
    if ...:
        raise ImportError
    return realimport(name, globals, locals, fromlist, level)

builtins.__import__ = myimport

代替 ...，您可以硬编码 name == 'zope.component'，或者使用您自己的回调更灵活地安排事情，这可以使导入在不同情况下按需引发，具体取决于您的特定测试需求，而不需要您编写多个 __import__ 类似的函数；-)。

另请注意，如果您使用的不是 import zope.component 或 from zope.component import Something，而是 from zope import component，则name 将是 'zope'，'component' 将成为 fromlist 中的唯一项目。

编辑：__import__函数的文档说要导入的名称是builtin（就像在Python 3中一样），但实际上你需要< code>__builtins__ -- 我已经编辑了上面的代码，以便它可以以任何方式工作。

Answer 2

这就是我在单元测试中所说的。

它使用 PEP-302“新导入挂钩” 。 （警告：我链接的 PEP-302 文档和更简洁的发行说明并不完全准确。）

我使用 meta_path 因为它在导入序列中尽可能早。

如果模块已经导入（就像我的例子一样，因为早期的单元测试会模拟它），那么有必要在依赖模块上重新加载之前将其从 sys.modules 中删除。

 # Ensure we fallback to using ~/.pif if XDG doesn't exist.

 >>> import sys

 >>> class _():
 ... def __init__(self, modules):
 ...  self.modules = modules
 ...
 ...  def find_module(self, fullname, path=None):
 ...  if fullname in self.modules:
 ...   raise ImportError('Debug import failure for %s' % fullname)

 >>> fail_loader = _(['xdg.BaseDirectory'])
 >>> sys.meta_path.append(fail_loader)

 >>> del sys.modules['xdg.BaseDirectory']

 >>> reload(pif.index) #doctest: +ELLIPSIS
 <module 'pif.index' from '...'>

 >>> pif.index.CONFIG_DIR == os.path.expanduser('~/.pif')
 True

 >>> sys.meta_path.remove(fail_loader)

pif.index 中的代码如下所示：

try:
    import xdg.BaseDirectory

    CONFIG_DIR = os.path.join(xdg.BaseDirectory.xdg_data_home, 'pif')
except ImportError:
    CONFIG_DIR = os.path.expanduser('~/.pif')

---

为了回答为什么新重新加载的模块具有旧加载和新加载的属性的问题，这里有两个示例文件。

第一个是带有导入失败案例的模块y。

# y.py

try:
    import sys

    _loaded_with = 'sys'
except ImportError:
    import os

    _loaded_with = 'os'

第二个是x，它演示了模块重新加载时保留句柄会如何影响其属性。

# x.py

import sys

import y

assert y._loaded_with == 'sys'
assert y.sys

class _():
    def __init__(self, modules):
        self.modules = modules
        
    def find_module(self, fullname, path=None):
        if fullname in self.modules:
            raise ImportError('Debug import failure for %s' % fullname)

# Importing sys will not raise an ImportError.
fail_loader = _(['sys'])
sys.meta_path.append(fail_loader)

# Demonstrate that reloading doesn't work if the module is already in the
# cache.

reload(y)

assert y._loaded_with == 'sys'
assert y.sys

# Now we remove sys from the modules cache, and try again.
del sys.modules['sys']

reload(y)

assert y._loaded_with == 'os'
assert y.sys
assert y.os

# Now we remove the handles to the old y so it can get garbage-collected.
del sys.modules['y']
del y

import y

assert y._loaded_with == 'os'
try:
    assert y.sys
except AttributeError:
    pass
assert y.os

Answer 3

如果您不介意更改程序本身，您也可以将导入调用放入函数中并在测试中修补它。