尝试在 Flask 应用程序中取消模型时出现 ModuleNotFoundError

Question

Python 版本：3.6.9

我使用 pickle 将机器学习模型转储到文件中，当我尝试使用 Flask 对其运行预测时，失败并显示 ModuleNotFoundError: No名为“预测器”的模块。我如何修复此错误，以便它识别我的模型，无论我尝试通过 Flask 还是通过 Python 命令（例如 python Predict_edu.py）运行预测？

这是我的文件结构：

 - video_discovery
   __init__.py
   - data_science
     - model
     - __init__.py
     - predict_edu.py
     - predictors.py
     - train_model.py

这是我的 Predict_edu.py 文件：

import pickle

with open('model', 'rb') as f:
        bow_model = pickle.load(f)

这是我的 Predictors.py 文件：

from sklearn.base import TransformerMixin

# Basic function to clean the text
def clean_text(text):
    # Removing spaces and converting text into lowercase
    return text.strip().lower()

# Custom transformer using spaCy
class predictor_transformer(TransformerMixin):
    def transform(self, X, **transform_params):
        # Cleaning Text
        return [clean_text(text) for text in X]

    def fit(self, X, y=None, **fit_params):
        return self

    def get_params(self, deep=True):
        return {}

这是我训练模型的方式：

python data_science/train_model.py

这是我的 train_model.py 文件：

from predictors import predictor_transformer

# pipeline = Pipeline([("cleaner", predictor_transformer()), ('vectorizer', bow_vector), ('classifier', classifier_18p)])
pipeline = Pipeline([("cleaner", predictor_transformer())])

with open('model', 'wb') as f:
        pickle.dump(pipeline, f)

我的 Flask 应用程序位于：video_discovery/__init__.py

这是我运行 Flask 应用程序的方式：

FLASK_ENV=development FLASK_APP=video_discovery flask run

我相信可能会出现这个问题，因为我通过直接运行 Python 脚本而不是使用 Flask 来训练模型，因此可能存在一些命名空间问题，但是我不知道如何解决这个问题。训练我的模型需要一段时间，因此我无法完全等待 HTTP 请求。

我缺少什么可以解决这个问题？

Answer 1

执行 predict_edu.py 时出现该错误似乎有点奇怪，因为它与 predictors.py 位于同一目录中，因此使用绝对导入，例如from Predictors import Predictor_transformer（不带点 . 运算符）通常应按预期工作。但是，如果错误仍然存​​在，您可以尝试以下几个选项。

选项 1

您可以在尝试导入模块之前将 predictors 文件的父目录添加到系统 PATH 变量中，如 此处。这对于较小的项目应该可以正常工作。

import sys
from pathlib import Path
sys.path.insert(0, str(Path(__file__).resolve().parent))
from predictors import predictor_transformer

选项 2

使用相对导入，例如 from .predictors import...，并确保从包的父目录运行脚本，如下所示。 -m 选项 ”搜索 sys.path对于指定的模块并执行其内容作为 __main__ module"，而不是顶级脚本。在以下参考文献中了解有关 -m 选项的更多信息： [1]、[2]，<一个href="https://stackoverflow.com/questions/52441280/what-does-the-m-option-stand-for-in-python">[3]，[4], [5]，[6]。在这里阅读有关“相对导入”的更多信息：[1] ，[2]，[3]，[4]。

python -m video_discovery.data_science.predict_edu

但是，PEP 8 样式指南 建议一般使用绝对导入。

建议使用绝对导入，因为它们通常更具可读性
并且往往表现得更好（或者至少给出更好的错误消息）
如果导入系统配置不正确（例如当
包内的目录最终位于 sys.path 上）

但是，在某些情况下，绝对导入可能会变得非常冗长，具体取决于目录结构的复杂性，如下所示。另一方面，“相对导入可能会很混乱，特别是对于目录结构可能发生变化的共享项目”。它们也“不如绝对的可读，并且很难判断导入资源的位置”。详细了解 Python 导入 和 绝对导入与相对导入。

from package1.subpackage2.subpackage3.subpackage4.module5 import function6

选项 3

将包含您的包目录的目录包含在 PYTHONPATH 并使用绝对导入代替。 PYTHONPATH 用于设置用户定义模块的路径，以便可以将它们直接导入到Python脚本中。 PYTHONPATH 变量是一个字符串，其中包含需要添加到 sys.path Python 目录列表。该变量的主要用途是允许用户导入尚未制作成可安装的 Python 包的模块。了解更多相关信息此处和此处。

例如，假设您有一个名为 video_discovery 的包（在 /Users/my_user/code/video_discovery 下），并且想要添加目录 /Users/my_user/代码到PYTHONPATH：

在Mac

1. 打开Terminal.app
2. 打开文件~/.bash_profile在您的文本编辑器 - 例如 atom ~/.bash_profile
3. 将以下行添加到末尾： export PYTHONPATH="/Users/my_user/code"
4. 保存文件。
5. 关闭 Terminal.app
6. 再次启动 Terminal.app，读取新设置，然后输入
   回显$PYTHONPATH。它应该显示类似 /Users/my_user/code 的内容。

在 Linux 上

1. 打开您最喜欢的终端程序

2. 在文本编辑器中打开文件~/.bashrc - 例如atom ~/.bashrc

3. 将以下行添加到末尾：export PYTHONPATH=/首页/my_user/代码

4. 保存文件。

5. 关闭您的终端应用程序。

6. 再次启动终端应用程序，读取新设置，
   并输入echo $PYTHONPATH。它应该显示类似 /home/my_user/code 的内容。

在 Windows 上

1. 打开此电脑（或计算机），右键单击内部并选择
   属性。
2. 从计算机属性对话框中，选择左侧的高级系统设置。
3. 从高级系统设置对话框中，选择环境变量按钮。
4. 在“环境变量”对话框中，单击“新建”按钮
   对话框的上半部分，创建一个新的用户变量：
5. 将变量名称指定为PYTHONPATH并输入值 添加路径
   你的模块目录。选择确定并再次选择确定以保存此变量。
6. 现在打开 cmd 窗口并输入 echo %PYTHONPATH% 以确认环境变量设置正确。 记住打开一个新的 cmd 窗口来运行您的 Python 程序，以便它获取 PYTHONPATH 中的新设置。

选项 4

另一种解决方案是以可编辑状态安装软件包（对 .py 文件所做的所有编辑都将自动包含在已安装的软件包中），如所述 此处和此处。但是，要使其发挥作用所需的工作量可能会使选项 3 成为您更好的选择。

setup.py 的内容应如下所示，安装包的命令应为 pip install -e . (-e 标志代表“可编辑”，. 代表“当前目录”）。

from setuptools import setup, find_packages
setup(name='myproject', version='1.0', packages=find_packages())

Answer 2

来自 https://docs.python.org/3/library/pickle.html：

pickle 可以透明地保存和恢复类实例，但是类定义必须是可导入的，并且与存储对象时位于同一模块中。

当您运行 python data_science/train_model.py 并导入 from Predictors 时，Python 会将 predictors 导入为顶级模块，并将 predictor_transformer< /code> 位于该模块中。

但是，当您通过 Flask 从 video_discovery 的父文件夹运行预测时，predictor_transformer 位于 video_discovery.data_science.predictors 模块中。

使用相对导入并从一致的路径运行

train_model.py：使用相对导入

# from predictors import predictor_transformer  # -
from .predictors import predictor_transformer   # +

训练模型：使用video_discoverytrain_model > 作为顶级模块

# python data_science/train_model.py                # -
python -m video_discovery.data_science.train_model  # +

通过 Python 命令运行预测：使用 video_discovery 作为顶级模块运行 predict_edu

# python predict_edu.py                             # -
python -m video_discovery.data_science.predict_edu  # +

运行预测通过烧瓶： （没有变化，已经使用 video_discovery 作为顶级模块运行）

FLASK_ENV=development FLASK_APP=video_discovery flask run