矢量器标准化中无效的模式

Question

我正在尝试将独特的字符与单词分开，以便我可以将它们视为单独的令牌。

这是我的矢量器：

vectorizer = tf.keras.layers.TextVectorization(
                standardize=code_standaridization,
                split="whitespace",
                output_mode="int",
                output_sequence_length=params["input_dim"],
            )

这是我的功能：

def code_standaridization(input_data):
    """
    Helps with finding correct embedding.
    """
    input_data = tf.strings.regex_replace(input_data, "-", " - ")
    input_data = tf.strings.regex_replace(input_data, "_", " _ ")
    input_data = tf.strings.regex_replace(input_data, "(", " ( ")
    input_data = tf.strings.regex_replace(input_data, ")", " ) ")
    input_data = tf.strings.regex_replace(input_data, "{", " { ")
    input_data = tf.strings.regex_replace(input_data, "}", " } ")
    input_data = tf.strings.regex_replace(input_data, "[", " [ ")
    input_data = tf.strings.regex_replace(input_data, "]", " ] ")
    input_data = tf.strings.regex_replace(input_data, '"', ' " ')
    input_data = tf.strings.regex_replace(input_data, "'", " ' ")
    input_data = tf.strings.regex_replace(input_data, ".", " . ")
    input_data = tf.strings.regex_replace(input_data, ",", " , ")

    return input_data

但是我遇到了这个错误：

Node: 'StaticRegexReplace_2'
Invalid pattern: (, error: missing ): (
     [[{{node StaticRegexReplace_2}}]] [Op:__inference_adapt_step_133]

Answer 1

regex_replace（Regex_replace） 定义在这里，哪个注释：

最简单的正则表达式是单个字面字符。除了*+？（）|之类的metacharacter，字符匹配自己。要匹配Metacharacter，请用后斜线逃脱它：\+匹配字面加上字符。

因此，您应该添加后斜切以更换括号：

input_data = tf.strings.regex_replace(input_data, "\(", " \( ")
input_data = tf.strings.regex_replace(input_data, "\)", " \) ")