使用 adf 中的复制活动 (polybase) 将 ADLS gen2 中的 parquet 文件复制到 Azure synapse 表时出现错误

Question

我的来源是 ADLS gen2 中的镶木地板文件。所有 parquet 文件都是大小为 10-14 MB 的零件文件。总大小应约为 80 GB

接收器是 Azuresynapse 表。

复制方法是Polybase。执行后 5 秒内出现以下错误，如下所示：

ErrorCode=PolybaseOperationFailed,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=将数据加载到 SQL 数据仓库时发生错误。操作：'创建外部表'。，Source=Microsoft.DataTransfer.ClientLibrary，''Type=System.Data.SqlClient.SqlException，Message=由于内部错误，外部文件访问失败：'访问 HDFS 时发生错误：引发 Java 异常调用 HdfsBridge_IsDirExist。 Java异常信息： HdfsBridge::isDirExist - 检查目录是否存在时遇到意外错误：AbfsRestOperationException：操作失败：“此请求无权执行此操作。”，403，HEAD，URL'，Source = .Net SqlClient Data提供程序，SqlErrorNumber = 105019，Class = 16，ErrorCode = -2146232060，State = 1，Errors = [{Class = 16，Number = 105019，State = 1，Message =由于内部错误，外部文件访问失败：'发生错误访问 HDFS：调用 HdfsBridge_IsDirExist 时引发 Java 异常。 Java异常信息： HdfsBridge::isDirExist - 检查目录是否存在时遇到意外错误：AbfsRestOperationException：操作失败：“此请求无权执行此操作。”，403，HEAD，

Answer 1

由于身份验证失败，我已经看到了此错误，请检查授权标题和/或签名是否错误。
例如，使用ADLS Gen2存储帐户访问密钥创建范围凭据：

CREATE DATABASE SCOPED CREDENTIAL [MyADLSGen2Cred] WITH
  IDENTITY='user',
  SECRET='zge . . . 8V/rw=='

创建外部数据源如下：

CREATE EXTERNAL DATA SOURCE [MyADLSGen2] WITH (
  TYPE=HADOOP,
  LOCATION='abfs://[email protected]',
  CREDENTIAL=[MyADLSGen2Cred])

您可以指定WASB而不是ABF，如果您使用的是SSL，则将其指定为ABFSS。然后创建外部表如下：

CREATE EXTERNAL TABLE [dbo].[ADLSGen2] (
  [Content] varchar(128))
WITH (
  LOCATION='/',
  DATA_SOURCE=[MyADLSGen2],
  FILE_FORMAT=[TextFileFormat])

您可以在我的书“用polybase的动手数据虚拟化”一书中找到其他信息。