如何从Python中的AWS S3中编辑/重命名/删除多个JSON文件中的键和值

Question

我在一个文件夹和（sub文件夹：文件夹A具有sub文件夹b和c等）中的JSON文件中，我想更改所有JSON文件的键的名称，然后删除一些键＆amp;值。 首先，我尝试在文件夹中获取文件列表：

def get_s3_list(bucket, prefix):
    s3 = boto3.client("s3")    
    objects = s3.list_objects(Bucket=bucket, Prefix=prefix)
    obj_list = [lc['Key'] for lc in objects['Contents']]
    return obj_list
s3_list = get_s3_list('bucket', 'prefix')
full_s3_list = [ll.split('/') for ll in s3_list]

json_list_files = []
for sub_list in full_s3_list:
     for sb in sub_list:
          if sb.endswith('.json') or sb.endswith('.JSON'):
              json_list_files.append(sub_list)

然后，我想重命名每个JSON文件中的一些键。例如，一个JSON文件看起来像：

{
   "name": "Apple",
   "type": "sweet",
   "size": "12",
   "country": "Germany",
   "path": "s1",
   "other info": "not known",
}

对于所有文件，我想重命名键并删除一些键＆amp; 我知道

{
   "name of fruit": "Apple",
   "taste": "sweet",
   "size": "12",
   "path_id": "s1",

}

如何从一个文件中更改一个关键名称，但是我不知道如何将其应用于所有文件以及一个以上的关键名称。我已经尝试过，但是我无法得到我想要的东西：

new_names = { 'name'            : 'name of fruit' ,
              'type'      : 'taste' ,
              'size'        : 'size', 
              'path'       : 'path_id'
              }


for row in json_list_files:
  for k, v in new_names.items():
    for old_name in row:
      if k == old_name:
        row[v] = row.pop(old_name)

Answer 1

您可以首先下载S3存储桶的内容，然后递归通过JSON文件，并使用JSON处理器进行修改，例如JQ。完成此操作后，您可以运行AWS S3 Sync命令，以便将修改的文件上传到存储桶。