AWS boto迭代器返回字节而不是字符串：_csv.Error：迭代器应返回字符串，而不是字符（您是否在文本模式下打开文件？）

Question

我们在S3存储桶上有一个大的.CSV文件。我们想将其阅读到一条词典中，以通过行处理。 Botocore.Response.StreamingBody提供了一个迭代器，您可以使用iter_lines（）获得。但是，它返回字节，而不是字符串，这是CSV.Dictreader所期望的。这引发了以下错误：

Traceback (most recent call last):
  File "s3_iter_alternate.py", line 30, in process_file
    for row in csv_reader:
  File "C:\Users\Stan\AppData\Local\Programs\Python\Python38-32\lib\csv.py", line 111, in __next__
    row = next(self.reader)
_csv.Error: iterator should return strings, not bytes (did you open the file in text mode?)

做到这一点的正确方法是什么？我是Python的新手。我的代码如下：

    s3_resource = boto3.resource('s3', aws_access_key_id = ACCESS_KEY,
                                 aws_secret_access_key = SECRET_KEY)
    s3_object = s3_resource.Object(bucket_name=BUCKET_NAME, key=OBJECT_KEY)

    resp = s3_object.get(Range=f'bytes={offset}-')
    body: botocore.response.StreamingBody = resp['Body']

    csv_reader = csv.DictReader(body.iter_lines(chunk_size=1024), fieldnames=FIELDNAMES)
    for row in csv_reader:
        print('Processing: ' + str(row)) #process here
    return

Answer 1

通过用 str 包装 iter_lines，在 Python 3 中为我工作。试试这个 -

csv_reader = csv.DictReader(str(body.iter_lines(chunk_size=1024)), fieldnames=FIELDNAMES)

iter_lines 返回字节。将其转换为文本字符串似乎可以解决问题。