如何使用 python 中的新数据集/数据场更新经过训练的 IsolationForest 模型？

Question

假设我适合 IsolationForest () scikit-learn 基于时间序列的 Dataset1 或 dataframe1 算法df1 并使用提到的方法保存模型 这里 & 此处。现在我想更新 new dataset2 或 df2 的模型。

我的发现：

• 这个解决方法关于增量从 sklearn 学习：

...从小批量实例中增量学习（有时称为“在线学习”）是核外学习的关键，因为它保证在任何给定时间只有少量实例在主存储器中。为平衡相关性和内存占用的小批量选择合适的大小可能需要进行调整。

但遗憾的是 IF 算法不支持 estimator.partial_fit(newdf)

• auto-sklearn 提供 refit() 也不适合我的情况基于这篇帖子。

如何使用新的 Dataset2 更新在 Dataset1 上训练并保存的 IF 模型？

Answer 1

您可以简单地重用 .fit() 调用 可用于新数据的估计器。

这将是首选，尤其是在时间序列中，因为信号发生变化，并且您不希望将较旧的、非代表性的数据理解为潜在正常（或异常）。

如果旧数据很重要，您只需将旧训练数据和新输入信号数据连接在一起，然后再次调用 .fit() 即可。

另请注意，根据sklearn文档，最好使用joblib 比pickle

一个 MRE，包含以下资源：

# Model
from sklearn.ensemble import IsolationForest

# Saving file
import joblib

# Data
import numpy as np

# Create a new model
model = IsolationForest()

# Generate some old data
df1 = np.random.randint(1,100,(100,10))
# Train the model
model.fit(df1)

# Save it off
joblib.dump(model, 'isf_model.joblib')

# Load the model
model = joblib.load('isf_model.joblib')

# Generate new data
df2 = np.random.randint(1,500,(1000,10))

# If the original data is now not important, I can just call .fit() again.
# If you are using time-series based data, this is preferred, as older data may not be representative of the current state
model.fit(df2)

# If the original data is important, I can simply join the old data to new data. There are multiple options for this:
# Pandas: https://pandas.pydata.org/pandas-docs/stable/user_guide/merging.html
# Numpy: https://numpy.org/doc/stable/reference/generated/numpy.concatenate.html

combined_data = np.concatenate((df1, df2))
model.fit(combined_data)