如何从AWS S3下载大型文件，并重新启动网络损失

Question

我正在尝试从AWS S3存储桶实现“网络安全”下载器。 下载器应该能够从S3下载单个.zip文件并将其写入本地.zip文件。

我当前的方法是将节点与ReadStream和Writestream Ass一起使用，这是

const download = async () => {
    AWS.config.update(
        {
            accessKeyId: "",
            secretAccessKey: "",
            region: ""
        }
    );

    const s3 = new AWS.S3();

    const params = {
        Bucket: '',
        Key: ''
    };

    const { ContentLength: contentLength } = await s3.headObject(params).promise();

    const rs = s3.getObject(params).createReadStream()
    const ws = fs.createWriteStream(path.join('./', 'file.zip'));

    let progress = 0;

    rs.on('data', function (chunk) {
        progress += chunk.length;
        console.log(`Progress: ${progress / contentLength * 100}%`);
    });

    rs.pipe(ws);
}

我需要的一种方法，是一种捕获/创建有关网络错误的事件的方法，这将使我可以在网络重新开始时暂停并重新启动下载。 甚至更好 - 在恢复网络后自动重新启动下载。 目前，我找不到有关网络错误的任何事件，似乎在下载过程中的网络损失并不能触发“错误”事件。

节点/python中的任何解决方案都将非常适合

Answer 1

简短更新：发现使用WGET将PresignedUrl下载到我要下载的对象上的工作。仍然不是我想拥有的本地经历。分享您的想法

export class Downloader {
    constructor(dest_dir, file_name_to_save) {
        this.dest_dir = dest_dir;
        this.file_name = file_name_to_save;
        this.progress = "61%"
    }

    async download_file(on_progress, on_done, socket, io) {

        let client = new S3Client({
            region: 'eu-west-1',
            credentials: {
                accessKeyId: "",
                secretAccessKey: "",
            }
        });

        const command = new GetObjectCommand({ Bucket: "s", Key: "" });
        const url = await getSignedUrl(client, command, { expiresIn: 3600 });



        let child = spawn('wget', ['-c', '-O', this.dest_dir + this.file_name, url]);

        socket.on('cancel', () => {
            child.kill()
            console.log("killed child")
        })

        child.stderr.on('data', (e) => {
            let stdout = e.toString();

            let p = stdout.match(/([0-9]+?\%)+/g);

            if (p && p.length > 0 && p[0] != this.progress) {
                on_progress && on_progress(p[0])
                console.log(p[0])
                this.progress = p[0]
            }
        });


        child.stdout.on('end', function (data) {
            on_done && on_done("end");
            console.log("end: ", data)
            child.kill();
        });

        child.on('exit', function (code) {
            if (code != 0) console.log('Failed: ' + code);
            else console.log("success!", code)

            on_done && on_done("exit");
        });
    }
}