如何使用张量流梯度带找到解析梯度

Question

假设我们有一些函数 y=x^2

然后我们可以使用梯度带自动计算梯度（当我们向tensorflow提供一些x值时，

x = tf.Variable(3.0)

with tf.GradientTape() as tape:
  y = x**2
  dy_dx = tape.gradient(y, x)

我是否可以找出tensorflow对我的输入做了什么？例如在本例中是 容易找出 dy/dx=2x，这是否意味着张量流会将 2 乘以我的 x 输入值，然后返回 6（即 3*2）？

很 区分所以我想要从 TensorFlow 梯度带中找到见解，看看 TensorFlow 如何使用我的 x 输入计算出导数。

Answer 1

一种可能的选择是使用 tensorboard 并打印 tf.Graph 的操作：

import tensorflow as tf

x = tf.Variable(3.0)
@tf.function
def f(x):
  with tf.GradientTape() as tape:
    y = x**2
  return tape.gradient(y, x)

print(*[tensor for op in f.get_concrete_function(x).graph.get_operations() for tensor in op.values()], sep="\n")

logdir = 'logs/func/'
writer = tf.summary.create_file_writer(logdir)
tf.summary.trace_on(graph=True, profiler=True)
z = f(x)
with writer.as_default():
  tf.summary.trace_export(
      name="func_trace",
      step=0,
      profiler_outdir=logdir)

Tensor("x:0", shape=(), dtype=resource)
Tensor("ReadVariableOp:0", shape=(), dtype=float32)
Tensor("pow/y:0", shape=(), dtype=float32)
Tensor("pow:0", shape=(), dtype=float32)
Tensor("ones:0", shape=(), dtype=float32)
Tensor("gradient_tape/pow/mul:0", shape=(), dtype=float32)
Tensor("gradient_tape/pow/sub/y:0", shape=(), dtype=float32)
Tensor("gradient_tape/pow/sub:0", shape=(), dtype=float32)
Tensor("gradient_tape/pow/Pow:0", shape=(), dtype=float32)
Tensor("gradient_tape/pow/mul_1:0", shape=(), dtype=float32)
Tensor("Identity:0", shape=(), dtype=float32)

在终端中打开tensorboard：

%load_ext tensorboard
%tensorboard --logdir logs/func