胶水动态框架解析文本文件，带有＆＃xb6;定界符

Question

我有一个文本文件，如下所示。

HDR¶20200101
BDY¶1¶Jimmy
BDY¶1¶Something
TRL¶123

我想通过过滤标头预告片将其解析为胶水动态数据框。还将标题分配为ID，名称。我尝试了以下代码，但似乎不起作用。

  dyf_test = glueContext.create_dynamic_frame.from_options(
format_options={"withHeader": False, "separator": "¶"},
connection_type="s3",
format="csv",
connection_options={
    "paths": [
        "s3://Files/test.gz"
    ],
    "recurse": True,
})




dyf_test = Filter.apply(
    frame=dyf_test,
     f=lambda row: (
        bool(re.match("HDR", row[0]))
        and bool(re.match("TRL", row[0]))
    )
)

错误：com.amazonaws.services.glue.util.fatalexception：无法解析文件：test.gz