在 AWS Glue ETL 脚本中使用自定义连接器

Question

我正在使用动态框架粘合抽象来编写 AWS Glue ETL 脚本，并在 python 中编写代码。

我在胶水数据目录中创建了一个名为 sap-lpr-connection 的 JDBC 连接资源，并希望使用它从代码中检索连接选项。

根据 此链接（和其他来源），我应该使用 "custom.jdbc" connection_type 来访问我的连接资源创建的。

这就是我的代码的样子：

from pyspark.context import SparkContext
from awsglue.context import GlueContext

# DATABASE
database = 'sap_lpr'
table = 'bsim'

# GLUE CONTEXT
glue_context = GlueContext(SparkContext.getOrCreate())

# CONNECTION OPTIONS
connection_options = {
    "connectionName": f"{database.replace('_', '-')}-connection",
    "dbTable": table
}

# READ DATA
dyf = glue_context.create_dynamic_frame.from_options(
    connection_type="custom.jdbc",
    connection_options=connection_options
)

但是当我运行代码时，我收到此错误：

调用 o81.getSource 时发生错误。 Glue ETL Marketplace：无法检索必填字段 CONNECTOR_TYPE。

我知道另一种方法是指定 "jdbc" connection_type 并传递各种连接选项，例如 jdbc URL、用户名和密码，但我更喜欢从我为此特意创建的胶水连接资源。

另外，我真的很想坚持使用glue_context API，而不是标准的spark API。

知道我可能做错了什么吗？

Answer 1

好的，事实证明，我误解了我正在使用的连接器的类型。

我使用“标准”连接器，JDBC ONE创建了AWS胶水数据目录中的连接资源，这并不被视为connection_type字段中的自定义连接器类型，而是您的标准JDBC连接。例如：connection_type ='sqlserver'。

因此，如果使用标准连接器之一（例如JDBC）创建连接，则必须使用.extract_from_conf（）方法从连接资源提取配置：

configuration = glue_context.extract_jdbc_conf(
    connection_name,
    catalog_id=None
)

connection_options = {
    "url": configuration["url"],
    "user": configuration["user"]
    "password": configuration["password"]
}