AWS CLI 显示失败的 S3 CP 或 SYNC 上传
我在使用 AWS CLI 时遇到问题，如果我对较小的文件 (<10GB) 执行 s3 cp 或 s3 同步，它就可以工作很好，但是当我对文件 (>10gb) 尝试相同的命令时，它返回退出状态 1，这意味着某些文件无法复制。
有没有办法显示/列出无法复制/同步的文件？ 注意：所有副本都在 s3 到 s3 之间（相同的存储桶、相同的区域、相同的 ACL，只是不同的“文件夹路径”）
I'm having an issue with AWS CLI where if I do an s3 cp or s3 sync with smaller files (<10GB) it works fine but when I try same command with files (>10gb) it returns an exit status of 1 which means some files failed to copy.
Is there a way to show/list the files that failed to copy/sync?
Note: All copies are between s3 to s3 ( same bucket, same region, same ACL, just different "folders paths")
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
处理文件时查看官方文档超过 10GB，您需要在 CLI 命令中指定参数
--expected-size，否则当达到默认部分限制 10,000 时，上传可能会失败。大于 50GB 的文件示例：
aws s3 cp - s3://mybucket/stream.txt --expected-size 54760833024我希望这对您有用。
继续摇摆！
Looking at the official docs, when work with files more than 10gb you need to specify in CLI commands an argument
--expected-sizeor the upload may fail when it reaches the default part limit of 10,000.Example for a file larger than 50GB:
aws s3 cp - s3://mybucket/stream.txt --expected-size 54760833024I hope that works for you.
Keep rocking!.
面临一个不同的问题，导致我提出同样的问题：有没有办法查看哪些上传失败？
根据 AWS 文档，您可以使用
--only-show-errors标志仅在命令的输出中获取失败的上传。适用于s3 cp和s3sync。Faced a different problem that led me to the same question: is there a way to see which uploads failed?
Per AWS docs, you can use the
--only-show-errorsflag to get only failing uploads in the output of the command. Works for boths3 cpands3 sync.