读取S3桶对象

发布于 2025-02-04 07:05:25 字数 60 浏览 3 评论 0原文

我创建了一个S3存储桶,其中包含多个JSON对象。我想一次阅读所有这些对象,然后将它们放入熊猫数据框架中。

I have an S3 bucket created which contains multiple json objects. I want to read all these objects in once and put them in pandas dataframe.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

独闯女儿国 2025-02-11 07:05:25

那里有许多图书馆可以为您提供帮助,以及许多关于S3阅读的文章。从那里开始。我建议使用 boto3库因为有很多文章,例如这个 使用此库来完成您想要的事情,同时为您提供非常全面的范围该工具的概述。特别要查看如何从S3存储桶中获取文件列表?您想要的内容。一旦将对象分配给本地变量,将它们分配给数据框架应该很简单。

无论如何,一旦您完成了一些实现并击中阻止程序,然后在此处发布,以便我们可以帮助您提供更具体的观点。

There are many libraries out there that can help you with that, as well as many articles that talk about reading from S3. Start there. I recommend using the boto3 library since there are so many articles like this one that use this library to do what you want while giving you a pretty comprehensive overview of the tool. Specially check out the How to get a list of files from S3 Bucket? section for what you want. Once you have the objects assigned to a local variable, assigning them to a dataframe should be simple.

In any case, once you have done some implementation and hit a blocker, then post here on SO so that we can help with more specific points.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文