使用大量测试数据文件运行鼻子

Question

我想为网络爬虫编写一些测试。我想使用大量的测试网页，但我不确定如何让nose（或另一个单元测试框架）在没有大量重复代码的情况下完成我需要的操作。

我的问题是我想测试很多不同的页面，但我不知道如何使用鼻子来做到这一点。这大致就是我想要做的：

class TestPage(object):
    def setup(self):
        with open('test_data/page.html', 'r') as f:
            html = f.read()
        self.scraper = Scraper(html)

如果我想测试的唯一页面是“page.html”，那就没问题了。但我有数百页要测试。我可以复制该类，并且每次都更改该类的名称和路径的文件名，但这显然是荒谬的。

我想在设置中添加代码，为每个页面创建单独的 Scraper 对象，并将它们存储在测试对象的列表中。然后我可以让测试方法在每个 Scraper 对象上运行。但我认为我会遇到保持每个测试隔离并从鼻子获取单独消息的问题。

我还尝试对基测试类进行子类化并将路径传递给init，但这会给nose带来问题。

我很感激任何有关如何使用鼻子解决此问题的建议、另一种方法或任何可能有用的阅读。

Answer 1

根据您的代码示例，您只需要一个类工厂：

def make_test(page)
    class TestPage(object):
        def setup(self):
            with open(page, 'r') as f:
                html = f.read()
            self.scraper = Scraper(html)
     return TestPage

现在您可以运行一系列页面并为每个页面进行一个测试：

for page in list_of_pages:
    Test = make_test(page)
    Test().run() 

我不确定这是否是您运行鼻子测试的方式，但这将是一个完整的测试成熟的课程，这样你就可以做任何你通常会做的事情。

您可以将所有测试页面存储在一个目录中，这样您就可以循环遍历该目录中的文件并以这种方式获取页面列表。创建新测试所需要做的就是将 html 保存在给定目录中。这就是您正在寻找的东西吗？

Answer 2

通过鼻子使用 Freshen (https://github.com/rlisagor/freshen) 似乎是最好的答案。

只需编写功能文件，然后只需为每个 URL 添加一个场景即可进行测试。