如何使用bash下载大约1000个小文件（〜20kb）

Question

在URL中，有一定数量的小JPEG文件（约20KB），例如：

https://example.com/file=1.0
https://example.com/file=1.1
...
https://example.com/file=1.973
https://example.com/file=1.974

如何使用bash脚本下载它们？我不知道如何编写脚本，但是我认为使用WGET有一些简单的方法。 它们具有相同的 filename.jpeg ，因此需要使用连续名称下载它们，例如 filename-1.jpg ， filename-2.jpg 。 。

Answer 1

curl具有此内置功能，能够下载带有生成序列的多个URL，并将这些相同的序列应用于保存的文件名：

curl \
  --user-agent 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.63 Safari/537.36' \
  --parallel \
  --url "https://example.com/file=1.[0-974]" \
  --output "filename-#1.jpg"

请参阅： https://curl.se/docs/manpage.html#-o

-o ， - 输出＆lt; file＆gt;

将输出写入＆lt; file＆gt; 而不是STDOUT。如果您使用的是 {} 或 [] 以获取多个文档，则应引用URL，并且可以使用'＃'，然后是一个＆lt; file＆gt; 指定符中的编号。该变量将被当前字符串替换，以获取URL。喜欢：
态

或使用几个变量，例如：

＆nbsp; curl“ http：// {site，host} .host [1-5] .com“ -o” -o“＃1_＃2”

您可以使用此选项与所拥有的URL数量多倍。例如，如果您在同一命令行上指定两个URL，则可以这样使用：

＆nbsp; curl -o aa example.com -o bb example.net

以及-O选项和URL的顺序无关紧要，仅第一个-O是第一个URL等，因此上述命令行也可以写为

＆nbsp; curl example.com example.net -o aa -o bb

另请参阅 - create-dirs 选项动态创建本地目录。将输出指定为' - '（单个破折号）将迫使输出要完成。

为了抑制响应主体，您可以将输出重定向到/dev/null ：

＆nbsp; curl example.com -o/dev/null 

或用于Windows使用 nul ：

＆nbsp; curl example.com -o nul 

示例：

  curl -o文件https：//example.com
curl“ http：// {一个，两个，两个} .example.com” -O“ file_＃1.txt”
curl“ http：// {site，host} .host [1-5] .com“ -o”＃1_＃2”
curl -o file https：//example.com -o file2 https：//example.net
 

另请参见 - o， - romote-name ， - j， - remote-header-name 。

Answer 2

编辑：以下的改进版本将是（感谢评论）：（

for i in {0..974}; do wget https://example.com/file=1."$i"; done;

在此特定情况下可能不需要引用，因为只有数字值，但可以遵守最佳实践。）

您可以使用对于带有 seq 之类的>：

for i in `seq 0 974`; do wget https://example.com/file=1.$i; done;