如何将张量流模型保存到pickle文件

Question

我想保存 Tensorflow 模型，然后将其用于部署目的。我不想使用 model.save() 来保存它，因为我的目的是以某种方式“pickle”它并在未安装tensorflow的不同系统中使用它，例如：

model = pickle.load(open(path, 'rb'))
model.predict(prediction_array)

早些时候使用sklearn，当我正在腌制一个 KNN 模型，它很成功，并且我能够在不安装 sklearn 的情况下运行推理。

但是当我尝试pickle我的Tensorflow模型时，我收到了这个错误：

Traceback (most recent call last):
  File "e:/VA_nlu_addition_branch_lite/nlu_stable2/train.py", line 21, in <module>
pickle.dump(model, open('saved/model.p', 'wb'))
TypeError: can't pickle _thread.RLock objects

我的模型看起来像这样：

model = keras.Sequential([
            keras.Input(shape=(len(x[0]))),
            keras.layers.Dense(units=16, activation='elu'),
            keras.layers.Dense(units=8, activation='elu'),
            keras.layers.Dense(units=len(y[0]), activation='softmax'),
        ])

model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(x, y, epochs=200, batch_size=8)
pickle.dump(model, open('saved/model.p', 'wb'))

模型摘要

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
dense (Dense)                (None, 16)                1680
_________________________________________________________________
dense_1 (Dense)              (None, 8)                 136
_________________________________________________________________
dense_2 (Dense)              (None, 20)                180
=================================================================
Total params: 1,996
Trainable params: 1,996
Non-trainable params: 0

这是一个有关此问题的 StackOverflow 问题，但答案中的链接已过期。

这里还有另一个类似的问题，但我不太明白。

我有一个非常简单的模型，没有检查点，没有什么复杂的，那么有没有办法将 Tensorflow 模型对象保存到二进制文件？或者即使它是多个二进制文件，我也不介意，但它只是不需要使用tensoflow，如果 numpy 解决方案 会有所帮助，我会使用它，但我不知道如何在这里实现它。任何帮助将不胜感激，谢谢！

Answer 1

使用 joblib 似乎适用于 TF 2.8，并且由于您有一个非常简单的模型，因此您可以在 Google Colab 上训练它，然后只需在其他系统上使用 pickled 文件：

import joblib
import tensorflow as tf

model = tf.keras.Sequential([
            tf.keras.layers.Input(shape=(5,)),
            tf.keras.layers.Dense(units=16, activation='elu'),
            tf.keras.layers.Dense(units=8, activation='elu'),
            tf.keras.layers.Dense(units=5, activation='softmax'),
        ])

model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
x = tf.random.normal((20, 5))
y = tf.keras.utils.to_categorical(tf.random.uniform((20, 1), maxval=5, dtype=tf.int32))
model.fit(x, y, epochs=200, batch_size=8)
joblib.dump(model, 'model.pkl')

不使用 tf 加载模型：

import joblib
import numpy as np
print(joblib.__version__)

model = joblib.load("/content/model.pkl")
print(model(np.random.random((1,5))))

1.1.0
tf.Tensor([[0.38729233 0.04049021 0.06067584 0.07901421 0.43252742]], shape=(1, 5), dtype=float32)

但是，在不了解系统规格的情况下，很难判断它是否真的那么“直接”。

Answer 2

对于使用 keras 创建的 TensorFlow 模型，请将模型保存在 .h5 扩展名中，如此处类似答案中所述：

错误，不成功的 TensorSliceReader 构造函数：无法找到 ram 的任何匹配文件来 unpickle 文件：

from tensorflow.keras.models import load_model as tfk__load_model
# ...
# fit model:
# model.fit(x, y, ...)

# save fitted model to file
model.save('model.h5')

# load fitted model
fitted_model = tfk__load_model('model.h5')