使用 tf.data.Dataset.from_tensor_slices 和一个具有动态大小的属性创建张量流

Question

我有一个 pandas 数据框，其列是“bbox”，其值即 [[94.0, 58.0, 469.0, 362.0]]。我想使用 tf.data.Dataset.from_tensor_slices 将此数据帧转换为自定义数据集。 我希望 bbox 元素的形状为 (None,4) 但它是使用形状 (1,4) tf.Tensor([[ 94. 58. 469. 362.]], shape=(1 , 4), dtype=float32) 我不知道我做错了什么。

我的数据集是使用以下代码创建的：

myimages = pd.DataFrame.from_dict(train_data).to_dict("list")
myimages = tf.data.Dataset.from_tensor_slices(myimages)

提前感谢大家的宝贵时间

Answer 1

您可以使用 tf.data.Dataset.map 和 tf.squeeze 来消除额外的维度：

import tensorflow as tf
import pandas as pd

train_data = {'names': ['some_image.jpg', 'other_image.jpg'],
              'bbox': [[[94.0, 58.0, 469.0, 362.0]], [[94.0, 58.0, 469.0, 362.0]]]}
df = pd.DataFrame(train_data)
myimages = tf.data.Dataset.from_tensor_slices((df['names'].to_numpy(), df['bbox'].to_list()))
myimages = myimages.map(lambda x, y: (x, tf.squeeze(y, axis=0)))

for x, y in myimages:
  print(x, y)

tf.Tensor(b'some_image.jpg', shape=(), dtype=string) tf.Tensor([ 94.  58. 469. 362.], shape=(4,), dtype=float32)
tf.Tensor(b'other_image.jpg', shape=(), dtype=string) tf.Tensor([ 94.  58. 469. 362.], shape=(4,), dtype=float32)

Answer 2

张量的形状为 (1, 4)，因为数据框中的 bbox 列包含的元素是列表列表，而不是单个列表。

要获得每个标签的 (4, ) 形状，您可以通过索引每个 bbox 元素来修改数据框中 bbox 列中的元素以获得第一个 bbox，并将其插入到数据框中，如下所示：

myimages["bbox"] = [bbox_element[0] for bbox_element in myimages["bbox"].values]