如何使用boto3将文件或数据写入S3对象

Question

在BOTO 2中，您可以使用以下方法写入S3对象：

• key.set_contents_from_string（）
• key.set_contents_from_file（）
• Key.set_contents_from_filename()
• key.set_contents_from_stream（）

是否有boto 3等效？将数据保存到存储在S3上的对象的BOTO3方法是什么？

Answer 1

在boto 3中，'key.set_contents_from_'方法被

• object.put（）

• ） > client.pipter.put_object.pput_object（） < /p>

import boto3

some_binary_data = b'Here we have some data'
more_binary_data = b'Here we have some more data'

# Method 1: Object.put()
s3 = boto3.resource('s3')
object = s3.Object('my_bucket_name', 'my/key/including/filename.txt')
object.put(Body=some_binary_data)

# Method 2: Client.put_object()
client = boto3.client('s3')
client.put_object(Body=more_binary_data, Bucket='my_bucket_name', Key='my/key/including/anotherfilename.txt')

另外，二进制数据可以来自读取文件，如官方文档比较Boto 2和Boto 3 ：

存储数据

从文件，流或字符串中存储数据很容易：

 ＃boto 2.x
来自boto.s3.关键导入密钥
键=键（'Hello.txt'）
key.set_contents_from_file（'/tmp/hello.txt'）

＃Boto 3
s3.Object（'mybucket'，'hello.txt'）。put（body = open（'/tmp/hello.txt'，'rb'））
 

Answer 2

boto3还具有直接上传文件的方法：

s3 = boto3.resource('s3')    
s3.Bucket('bucketname').upload_file('/local/file/here.txt','folder/sub/path/to/s3key')

Answer 3

在写入S3中的文件之前，您不再需要将内容转换为二进制文件。以下示例在带有字符串内容的S3存储桶中创建一个新的文本文件（称为newfile.txt）：

import boto3

s3 = boto3.resource(
    's3',
    region_name='us-east-1',
    aws_access_key_id=KEY_ID,
    aws_secret_access_key=ACCESS_KEY
)
content="String content to write to a new S3 file"
s3.Object('my-bucket-name', 'newfile.txt').put(Body=content)

Answer 4

这是从S3读取JSON的一个不错的技巧：

import json, boto3
s3 = boto3.resource("s3").Bucket("bucket")
json.load_s3 = lambda f: json.load(s3.Object(key=f).get()["Body"])
json.dump_s3 = lambda obj, f: s3.Object(key=f).put(Body=json.dumps(obj))

现在您可以使用 JSON.LOAD_S3 和 JSON.DUMP_S3 ，使用相同的API与 load> load 和<代码>转储

data = {"test":0}
json.dump_s3(data, "key") # saves json to s3://bucket/key
data = json.load_s3("key") # read json from s3://bucket/key

Answer 5

我用来即可随时将文件上传到给定的S3存储桶和sub-folder- note 的清洁版本

import boto3

BUCKET_NAME = 'sample_bucket_name'
PREFIX = 'sub-folder/'

s3 = boto3.resource('s3')

# Creating an empty file called "_DONE" and putting it in the S3 bucket
s3.Object(BUCKET_NAME, PREFIX + '_DONE').put(Body="")

：您应该始终将AWS凭据放置（ aws_access_key_id 和 aws_secret_access_key ）在单独的文件中，例如 - 〜/.aws/.aws/corterentials

Answer 6

经过一些研究，我发现了这个。可以使用简单的CSV作者来实现它。它是直接将CSV的字典写入S3存储桶。

例如：data_dict = [{“ key1”：“ value1”，“ key2”：“ value2”}，{“ key1”：“ value4”，“ key2”：“ value3”}]]
假设所有字典中的键都是均匀的。

import csv
import boto3

# Sample input dictionary
data_dict = [{"Key1": "value1", "Key2": "value2"}, {"Key1": "value4", "Key2": "value3"}]
data_dict_keys = data_dict[0].keys()

# creating a file buffer
file_buff = StringIO()
# writing csv data to file buffer
writer = csv.DictWriter(file_buff, fieldnames=data_dict_keys)
writer.writeheader()
for data in data_dict:
    writer.writerow(data)
# creating s3 client connection
client = boto3.client('s3')
# placing file to S3, file_buff.getvalue() is the CSV body for the file
client.put_object(Body=file_buff.getvalue(), Bucket='my_bucket_name', Key='my/key/including/anotherfilename.txt')

Answer 7

值得一提的是 smart-open 使用 boto3 作为back-结尾。

smart-open 是可以从 s3 以及 ftp open 的倒入替换。 >， HTTP 和许多其他协议。

例如

from smart_open import open
import json
with open("s3://your_bucket/your_key.json", 'r') as f:
    data = json.load(f)

，AWS凭据通过〜/.aws/ dir或环境变量中的文件。

Answer 8

您可以使用以下代码来编写，例如2019年对S3的图像。要能够连接到S3，您必须使用命令 pip install awscli awscli 安装AWS CLI，然后使用一些凭据使用几个凭据命令 AWS配置：

import urllib3
import uuid
from pathlib import Path
from io import BytesIO
from errors import custom_exceptions as cex

BUCKET_NAME = "xxx.yyy.zzz"
POSTERS_BASE_PATH = "assets/wallcontent"
CLOUDFRONT_BASE_URL = "https://xxx.cloudfront.net/"


class S3(object):
    def __init__(self):
        self.client = boto3.client('s3')
        self.bucket_name = BUCKET_NAME
        self.posters_base_path = POSTERS_BASE_PATH

    def __download_image(self, url):
        manager = urllib3.PoolManager()
        try:
            res = manager.request('GET', url)
        except Exception:
            print("Could not download the image from URL: ", url)
            raise cex.ImageDownloadFailed
        return BytesIO(res.data)  # any file-like object that implements read()

    def upload_image(self, url):
        try:
            image_file = self.__download_image(url)
        except cex.ImageDownloadFailed:
            raise cex.ImageUploadFailed

        extension = Path(url).suffix
        id = uuid.uuid1().hex + extension
        final_path = self.posters_base_path + "/" + id
        try:
            self.client.upload_fileobj(image_file,
                                       self.bucket_name,
                                       final_path
                                       )
        except Exception:
            print("Image Upload Error for URL: ", url)
            raise cex.ImageUploadFailed

        return CLOUDFRONT_BASE_URL + id