以 bin 格式保存后，xgboost 不提供可重复的预测

Question

我遇到一个问题，即 xgboost 将其保存到二进制文件后无法产生可重现的结果。

R版本：4.1.2
XGBoost 版本 1.5.2.1

方法如下（逻辑回归，gbtree）：

bst <- xgboost(
                params = best.params
                , data = dtrain
                , nrounds = nrounds
                , early_stopping_rounds = early_stopping_rounds
                , nthread = nthread
                , num_parallel_tree = num_parallel_tree
                , eval_metric =  eval_metric
                , verbose = 2  
                , print_every_n = 1
)

min(predict(bst, dtest))
max(predict(bst, dtest))
xgb.save(bst, savefilemodelloc)

这会产生：
分钟 = 0.17932555079
max = 0.78802382946

现在我读回此产生的垃圾箱

remove(bst)
bst <- xgb.load(savefilemodelloc)
min(predict(bst, dtest))
max(predict(bst, dtest))

：
分钟 = 0.49377295375
max = 0.50564271212

这是在完全相同的数据集上运行，并且没有产生接近相同的结果。我曾多次尝试重建模型，结果几乎相同。
模型大小约为17GB。
我的操作系统是 RHEL 7

有谁知道这里发生了什么？

2022 年 8 月 3 日更新
我发现，如果我手动将参数加载回模型，它就会起作用。
例如

remove(bst)
bst <- xgb.load(savefilemodelloc)
xgb.parameters(bst) <- best.params
min(predict(bst, dtest))
max(predict(bst, dtest))

现在生成：
分钟 = 0.17932555079
max = 0.78802382946

我不确定这是否是预期行为

Answer 1

我以前遇到过这个问题，我通过将模型保存为 .rds 格式来“解决它”。我的预测并不那么极端（保存/导入之前/之后的差异小于 1%），但我认为这与 xgboost 模型对象“丢失”特定参数有关（与“提前停止”有关？）模型是使用 xgb.save() 保存的。

我将模型保存为：

文本

xgboost::xgb.dump(model = xgb,
                  fname = "xgb_model_text.txt",
                  with_stats = TRUE, dump_format = c("text"))

二进制

xgboost::xgb.save(model = xgb, fname = "xgb.model")

R 对象 (.rds)

saveRDS(object = xgb, file = "xgb.model.rds")

我还将特征名称保存到文件中（在后续过程中非常有用，强烈推荐）：

# Write the model feature names to file
dt <- xgb.model.dt.tree(feature_names = NULL, model = xgb)

write.table(x = dt, file = "model_dt_tree.txt",
  quote = FALSE, sep = "\t", row.names = FALSE, col.names = TRUE)

要加载模型以“重复”我使用的预测：

xgb2 <- readRDS("xgb.model.rds")
xgb2 <- xgb.Booster.complete(xgb2)

有不仅如此，但希望这能解决您眼前的问题。

Answer 2

根据 Jared 上面所说的提示，我能够解决我的问题。问题似乎是，如果保存 xgboost bin 文件，它不会保留使用的参数。解决方案是重新加载参数。我尝试将模型保存到 json 文件，但每次尝试都会使我的会话崩溃。所以看来 bin 是我唯一的选择。

方法如下（逻辑回归，gbtree）：

bst <- xgboost(
                params = best.params
                , data = dtrain
                , nrounds = nrounds
                , early_stopping_rounds = early_stopping_rounds
                , nthread = nthread
                , num_parallel_tree = num_parallel_tree
                , eval_metric =  eval_metric
                , verbose = 2  
                , print_every_n = 1
)

min(predict(bst, dtest))
max(predict(bst, dtest))
xgb.save(bst, savefilemodelloc)

这会产生：
分钟 = 0.17932555079
max = 0.78802382946

现在读回 bin，

remove(bst)
bst <- xgb.load(savefilemodelloc)
xgb.parameters(bst) <- best.params  # this loads the special parameters back in
min(predict(bst, dtest))
max(predict(bst, dtest))

现在会产生：
分钟 = 0.17932555079
最大值 = 0.78802382946