Google DataProc作业与本地Keytab / TicketCache文件一起提交
我正在尝试提交一个数据ploc作业，该作业将消费来自Kerberized Kafka群集的数据。 当前的工作解决方案是在计算机上具有JAAS配置文件和键盘，该文件正…
dataproc; Spark Job在DataProc Spark群集上失败，但在本地运行
我有一个通过Maven项目生成的JAR文件，当我通过Java -jar Jarfilename.jar在本地运行时运行良好。但是，当我尝试在DataProc上运行相同的JAR文件时，我…
GCP DataProc-提交工作不起作用时添加多个软件包（Kafka，MongoDB）
我正在尝试添加Kafka＆amp; MongoDB软件包在提交DataProc Pyspark作业时，但是失败了。 到目前为止，我一直在使用Kafka软件包，这很好， 但是，当我尝…
在无服务器DataProc GCP中安装Python软件包
我想在无服务器DataProc上安装一些Python软件包（例如：Python-Json-Logger）。有没有办法进行初始化操作以在无服务器数据proc中安装Python软件包？请…
DataProc：用户可以创建不同实例类型的工人吗？
设想： 主：X1机器类型 工人：X2机器类型，X3机器类型。 对于上述情况：AWS EMR实例机队允许用户创建不同的工作实例类型。从DataProc控制台中，我注意…
如何使用 Apache Airflow 的 DataprocCreateClusterOperator 在 Dataproc(GCP) 上启用 Spark Web 界面
我们正在使用 Apache Airflow 的 DataprocCreateClusterOperator 在 GCP(Dataproc) 上创建 Spark 集群，并希望启用 Spark Web UI 界面。使用终端创建…
覆盖 Dataproc 集群上的 Java 安全属性以克服 MS SQL 2019 的 SSL 握手问题
我遇到了 Java 安全设置问题，阻止运行 PySpark 的 Dataproc 集群（图 2.0.32-debian10）使用 Spark/JDBC 连接器 (spark:spark.jars.packages=com.mic…
DataprocClusterCreateOperator 没有要定义的 temp_bucket 变量
我正在尝试通过 Apache Airflow 通过 DataprocClusterCreateOperator 创建 dataproc 集群 气流版本：1.10.15 作曲家版本：1.16.4 我想将项目使用的临…
在 dataproc 集群上运行时无法从 Spark jar 中创建 bigquery 连接
我想从 dataproc 集群上运行的 Spark 中删除 bigquery 表中的数据。但我在运行 Spark 应用程序时收到 SIGSEGV 运行时错误。这是尝试时的完整错误： da…
- 共 1 页
- 1
