如何连接 +标记化 + TFX 预处理中填充字符串？

Question

我想在 TensorFlow Extended 管道的转换步骤/组件中执行常见的文本预处理步骤。我的数据如下（独立特征中的字符串，标签列中的0/1整数）：

field1 field2 field3 label
--------------------------
aa     bb     cc     0
ab     gfdg   ssdg   1 

import tensorflow as tf 将tensorflow_text导入为tf_text fromtensorflow_text import UnicodeCharTokenizer

def preprocessing_fn(inputs):
    
    outputs = {}
    outputs['features_xf'] = tf.sparse.concat(axis=0, sp_inputs=[inputs["field1"], inputs["field2"], inputs["field3"]])
    outputs['label_xf'] = tf.convert_to_tensor(inputs["label"], dtype=tf.float32)

    return outputs

但这不起作用：（

ValueError: Arrays were not all the same length: 3 vs 1 [while running 'Transform[TransformIndex0]/ConvertToRecordBatch']

后来我也想对 MAX_LEN 应用字符级标记化和填充）。
有什么想法吗？