copy_stream从远程URL下载文件

Question

我们想将文件从远程URL下载到内存中，然后将其上传到某些公共云中。我打算在Ruby中使用copy_stream lib。但是，我不确定是否可以通过此实现这一目标，因为我还需要保持内存和CPU统计信息，以免妨碍性能。

任何建议或示例如何通过Ruby中的copy_stream lib实现这一目标，或者我们有其他lib来实现这一目标。

https://ruby-doc.org/core-core-2.5.5/io。 html

Answer 1

您可以将SRC/DST设置为简单的IO抽象，以响应读/写：

src = IO.popen(["ssh", srchost, "cat /path/to/source_file | gzip"], "r")
dst = IO.popen(["ssh", dsthost, "gunzip > /path/to/dest_file"], "w")

IO.copy_stream(src, dst)

src.close
dst.close

Answer 2

• 将SRC设置为可下载文件。
• 通过写入权限，将DST设置为云资源。
• 确保两者符合sendfile（）。

SendFile是基于内核的复制流过程。在RAM的使用和性能方面，没有什么更快的。您的申请将不参与转移。

对于sendfile（），输出套接字必须具有零副本的支持，并且输入文件必须具有mmap（）支持。通常，这意味着您已经将文件下载到本地文件，在复制期间不会更改下载的文件，并且输出可以打开套接字。