如何从自定义的bertformaskedlm加载bertmodel，而无需随机初始化权重？

Question

我已经培训了几天的bertformaskedlm模型，并且我save_pretaining（） it。

我想从bertmodel与嵌入的编码器向量进行比较 这个新训练的bertformaskedlm。

但是，只需使用bertmodel.from_pretrataining（“ path/to/new_bertformaskedlm_model”）> 警告我说：“您可能应该训练此模型....”。

看来bert.pooler.dense.Wewight和bert.pooler.dense.bias在删除LM头后已将其添加到BertModel中，并随机初始化。我认为这意味着该当前模型的输出将是没有用的。

与BertModel嵌入式（删除LM头后），我需要做什么？

我只想比较向量。