如何将多个损失添加到梯度

Question

我正在测试tf.gradienttape。我编写了一个带有几个输出层的模型，每个模型都有自己的损失，我想在其中集成梯度。我的问题是：是否有特定的技术如何将几种损失作为目标实施？ 我知道一种选择是付出损失的平均值。这总是必要的吗？我不能仅输入损失列表，而渐变tape知道哪些损失属于哪个输出层？

Answer 1

示例1：默认值

默认选项在梯度函数中添加两个损失的梯度。

with tf.GradientTape(persistent=True) as tp:
    logits_1,logits_2=model(X_train)
    loss1= loss_fn_1(y_train_1, logits_1)
    loss2= loss_fn_2(y_train_2, logits_2)
grads = tp.gradient([loss1,loss2], model.weights)
opt.apply_gradients(zip(grads, model.weights))

示例2：替代性

替代选项通过允许您检查生成的梯度之间的关系，从而为您提供了更多的自由。

with tf.GradientTape(persistent=True) as tp:
    logits_1,logits_2=model(X_train)
    loss1= loss_fn_1(y_train_1, logits_1)
    loss2= loss_fn_2(y_train_2, logits_2)
grads_1 = tp.gradient(loss1, model.weights)
grads_2 = tp.gradient(loss2, model.weights)
grads_final = grads_1 + grads_2
opt.apply_gradients(zip(grads_final, model.weights))

我在Tensorflow 2.5上测试了这两个选项，它们给了我类似的结果。

Answer 2

在

要计算多个损失，您需要多个磁带。类似：

with tf.GradientTape() as t1:
    loss1_result= loss1(true, pred)
grads1 = t1.gradient(loss1_result, var_list1)
with tf.GradientTape() as t2:
    loss2_result= loss2(true, pred)
grads2 = t2.gradient(loss2_result, var_list2)

然后应用。

opt1.apply_gradients(zip(grads1, var_list1))
opt2.apply_gradients(zip(grads2, var_list2))