如何使用Python直接将JSON数据（来自API调用）直接直接到S3存储键进行加载？

Question

我对AWS s3 的新事物相对较新，我正在调用API，将JSON数据直接加载到 s3 bucket。 S3 存储桶数据将通过 snowflake 读取。研究后，我发现使用 boto3 我们可以将数据直接加载到 s3 中。代码看起来像下面的东西，但是我不确定的一件事是我应该为密钥放置什么，因为我的 s3 bucket中没有创建对象。另外，将JSON数据加载到 s3 的好习惯是什么？我是否需要将JSON数据编码为完成的'utf-8' A>由SO用户UWE Bretschneider。

提前致谢！

Python代码：

import json,urllib.request
import boto3
data = urllib.request.urlopen("https://api.github.com/users?since=100").read()
output = json.loads(data) 
print (output) #Checking the data


s3 = boto3.client('s3')
s3.put_object(
     Body=str(json.dumps(data))
     Bucket='I_HAVE_BUCKET_NAME'
     Key='your_key_here'
)

Answer 1

通过使用 put_object ，这意味着您在存储桶中创建一个新对象，因此没有现有密钥。
此键就像文件系统中的文件名一样。您可以指定自己喜欢的名称，例如 my-data.json 或 some-dir/my-data.json 。您可以在。

至于编码器，最好指定编码IMO，只是为了确保您的源文件也正确编码。