是否可以抑制“跳过”？ wget 尝试之间的行为？

Question

我使用 wget 通过 HTTP 下载一组文件，在一个简单的 cmd.exe 批处理中对每个 URL 使用一个 wget 调用。

另外，我在镜像之间随机交替，并希望为每个镜像保留单独的树，例如：

http://server06//files/file1.txt  -> temp\server06\files\file1.txt
http://server03//files/file65.txt -> temp\server03\files\file65.txt

我现在所做的是：

echo !url! | .\runners\wget.exe --tries=3 --force-directories --directory-prefix=.\temp\ --input-file=-

有时，由于某种原因，服务器会关闭 TCP 连接。我正在使用 --tries=3 来解决这个问题。在这种情况下，wget 的默认行为是，它将跳过已下载的字节，并从该点继续，如下所示：

2011-07-19 13:24:52 (68.1 KB/s) - Connection closed at byte 65396. Retrying.

--2011-07-19 13:24:54--  (try: 3) 
http://server06//files/filex.txt
Connecting to server|10.10.0.108|:80... failed: Unknown error.
Resolving server... 10.10.0.108
Connecting to server|10.10.0.108|:80... connected.
HTTP request sent, awaiting response... 206 Partial Content
Length: 166400 (163K), 101004 (99K) remaining [text/plain]
Saving to:
`./temp/server06/files/filex.txt'

        [ skipping 50K ]
    50K ,,,,,,,,,, ,,,....... .......... .......... .......... 61% 2.65M 0s
   100K .......... .......... .......... .......... .......... 92% 1.62M 0s
   150K .......... ..                                         100% 1.64M=0.06s

utime(./temp/server06/files/filex.txt):
Permission denied
2011-07-19 13:25:15 (1.72 MB/s) -
`./temp/server06/files/filex.txt'
saved [166400/166400]

我的问题是我不希望 wget 分两部分下载文件。我希望 wget 尝试更多次，但如果任何尝试因任何原因失败，我希望它重新开始（即使以根本不下载文件为代价！）。

背景是我正在测试过滤器驱动程序中的一段代码，只有当文件被一次性下载时才会被覆盖。由于这种行为，我的测试失败了。

问题是：是否可以抑制这种行为？即让 wget 尝试尽可能多的参数配置，同时在每次尝试中下载完整文件或零字节？

或者我应该寻找另一种解决方法？

Answer 1

我相信您会对libcurl 库感到更满意。每个 url 只需调用一次，libcurl 就会完成其余所有工作。最重要的是，该软件包还提供一流的支持。

使用 libcurl，您遇到的特殊情况不会成为问题。

华泰