使用Spark Connector读写AWS Keypace的问题

发布于 2025-01-28 13:31:08 字数 275 浏览 6 评论 0 原文

我正在尝试在AWS Keyspace上编写读写一些数据，但是出现以下消息。

版本：火花：2.4.6 卡桑德拉连接器：2.5.2 Scala：2.11.10

新版本和旧版本问题也发生。

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

你与清晨阳光 2025-02-04 13:31:08

此错误是无法查看System.Peers表。 Spark需要同行表信息以获取令牌信息。

检查他们是否可以访问读取系统表。如果您使用的是公共端点，则应该有9个，如果使用VPCE，则应该为每个可用性区域都有一个。
选择 *从System.peers 选择 *

如果使用VPC端点检查检查是否有设置

 {
         "Sid":"ListVPCEndpoints",
         "Effect":"Allow",
         "Action":[
            "ec2:DescribeNetworkInterfaces",
            "ec2:DescribeVpcEndpoints"
         ],
         "Resource":"*"
      }

以下示例是如何使用火花/胶将密钥空间数据导出到S3。

This error is do to not being able to see system.peers table. Spark requires the peers table info to get the token information.

check if they have access to read the system tables. If you are using a public endpoint you should have 9 and if you are using a VPCE you should have one for each availability zone.
SELECT * FROM system.peers

If you are using a vpc endpoint check to see if you have setup the right permissions.

 {
         "Sid":"ListVPCEndpoints",
         "Effect":"Allow",
         "Action":[
            "ec2:DescribeNetworkInterfaces",
            "ec2:DescribeVpcEndpoints"
         ],
         "Resource":"*"
      }

The following example is how to using Spark/Glue to export Keyspaces data to S3.
https://github.com/aws-samples/amazon-keyspaces-examples/tree/main/scala/datastax-v4/aws-glue/export-to-s3

回复收藏 0 原文

~没有更多了~