尝试在气流中获得火花连接ID时出错
我的 sparksubmitoperator 在气流dag中的外观如下，下面是我的 connection_id'spark_local' in Airflow ui as ，如果这里缺少任何东西，有人可以帮我吗？
sparksubmitoperator（task_id ='spark_task'，application ='gs：//xxx/xxx.jar'，conf = {“ spark.driver.allowmultiplecontexts”：true，spark.blacklist.enabled} ='spark_local'，java_class ='xxx'，jars = [“ gs：// xxx/*”]，application_args = [“ xxx” xxx“ xxx，xxx，]）>
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
基于
typeError，来自文档 https://airflow.apache.org/docs/apache-apache-airflow/1.10.12/_api/_api/_api/airflow/contrib/contrib/contrib/contrib/contrib/spark_submit_submit_operator/intib_submit_operator/intex.htex.htex.htex.html 说jars参数应该是字符串。您可以尝试jars =“ gs：// xxx/*”作为字符串以查看是否正常工作？Based on the
TypeError, from the documentation https://airflow.apache.org/docs/apache-airflow/1.10.12/_api/airflow/contrib/operators/spark_submit_operator/index.html, it said thatjarsargument should be a string. Could you tryjars="gs://xxx/*"as a string instead to see if it's working?