sqlexception：没有找到适合JDBC的驱动程序：Phoenix ：（主机）

Question

我正在运行一个Spark-Submit命令，该命令将通过Scala类进行一些数据库工作。

spark-submit 
--verbose 
--class mycompany.MyClass 
--conf spark.driver.extraJavaOptions=-Dconfig.resource=dev-test.conf 
--conf spark.executor.extraJavaOptions=-Dconfig.resource=dev-test.conf 
--master yarn 
--driver-library-path /usr/lib/hadoop-lzo/lib/native/ 
--jars /home/hadoop/mydir/dbp.spark-utils-1.1.0-SNAPSHOT.jar,/usr/lib/phoenix/phoenix-client-hbase-2.4-5.1.2.jar,/usr/lib/hadoop-lzo/lib/hadoop-lzo.jar,/usr/lib/hadoop/lib/commons-compress-1.18.jar,/usr/lib/hadoop/hadoop-aws-3.2.1-amzn-5.jar,/usr/share/aws/aws-java-sdk/aws-java-sdk-bundle-1.12.31.jar 
--files /home/hadoop/mydir/dev-test.conf 
--num-executors 1 
--executor-memory 3g 
--driver-memory 3g 
--queue default /home/hadoop/mydir/dbp.spark-utils-1.1.0-SNAPSHOT.jar
<<args to MyClass>>

运行时，我会得到一个例外：

Caused by: java.sql.SQLException: No suitable driver found for jdbc:phoenix:host1,host2,host3:2181:/hbase;
   at java.sql.DriverManager.getConnection(DriverManager.java:689)
   at java.sql.DriverManager.getConnection(DriverManager.java:208)
   at org.apache.phoenix.util.QueryUtil.getConnection(QueryUtil.java:422)
   at org.apache.phoenix.util.QueryUtil.getConnection(QueryUtil.java:414)

以下是我的Scala代码的相关部分：

    val conf: SerializableHadoopConfiguration =
        new SerializableHadoopConfiguration(sc.hadoopConfiguration)
    Class.forName("org.apache.phoenix.jdbc.PhoenixDriver")
    val tableRowKeyPairs: RDD[(Cell, ImmutableBytesWritable)] =
        df.rdd.mapPartitions(partition => {
            val configuration = conf.get()
            val partitionConn: JavaConnection = QueryUtil.getConnection(configuration)
            // ...
        }

我的spark-submit命令包括/usr/lib/phoenix/phoenix/phoenix-client-hbase-hbase-2.4-- 5.1.2.jar使用-jars参数。当我在该文件中搜索“ org.apache.phoenix.jdbc.phoenixdriver”时，我发现了：

$ jar -tf /usr/lib/phoenix/phoenix-client-hbase-2.4-5.1.2.jar | grep -i driver
...
org/apache/phoenix/jdbc/PhoenixDriver.class
...

为什么我的程序无法找到驱动程序？

Answer 1

我能够通过将以下参数添加到问题中显示的spark-submit命令中，以找到驱动程序来找到驱动程序：

--conf "spark.executor.extraClassPath=/usr/lib/phoenix/phoenix-client-hbase-2.4-5.1.2.jar" 

https://stackoverflow.com/questions/ 37132559/add-jar-files-to-a-spark-job-spark-Submit“> stackoverflow文章对各种参数的做法有很好的解释。