在运行多个并发实例时，如何修复 wget 混合下载数据的问题？

Question

我正在运行一个脚本，该脚本又使用不同的参数集在后台多次调用另一个脚本。

辅助脚本首先对 ftp url 执行 wget 以获取该 url 处的文件列表。它将其输出到一个唯一的文件名。

简化示例：
其中每一个都由在后台运行的辅助脚本的单独实例调用。

wget --no-verbose 'ftp://foo.com/' -O '/downloads/foo/foo_listing.html' >foo.log

wget --no-verbose 'ftp://bar.com/' -O '/downloads/bar/bar_listing.html' >bar.log

当我一次运行辅助脚本一次时，一切都会按预期运行。我得到一个 html 文件，其中包含文件列表、文件链接以及有关文件的信息，就像通过浏览器查看 ftp url 时一样。

继续一次简化一个（和预期的）示例结果：

foo_listing.html:

...
<a href="ftp://foo.com/foo1.xml">foo1.xml</a> ...
<a href="ftp://foo.com/foo2.xml">foo2.xml</a> ...
...

bar_listing.html:

...
<a href="ftp://bar.com/bar3.xml">bar3.xml</a> ...
<a href="ftp://bar.com/bar4.xml">bar4.xml</a> ...
...

当我多次运行辅助脚本时在后台，一些生成的文件，尽管它们具有正确的基本 url（传入的文件），但列出的文件来自 wget 的不同运行。

继续简化的多处理（和实际）示例结果：

foo_listing.html：

...
<a href="ftp://foo.com/bar3.xml">bar3.xml</a> ...
<a href="ftp://foo.com/bar4.xml">bar4.xml</a> ...
...

bar_listing.html
正确，如上所述

奇怪的是，我下载的所有其他文件似乎都工作正常。只是这些列表文件变得混乱。

当前的解决方法是在后台进程之间添加 5 秒的延迟。只需要进行一处更改，一切都会完美运行。

---

有人知道如何解决这个问题吗？

请不要建议使用其他方法来获取列表文件或不同时运行。如果可能的话，我想真正知道在许多后台进程中使用 wget 时如何解决这个问题。

编辑：

注意：

我不是指 wget 喷到屏幕上的状态输出。我根本不关心这一点（实际上也存储在单独的日志文件中并且工作正常）。我指的是 wget 从网络下载的数据。

另外，我无法显示我正在使用的确切代码，因为它是我公司的专有代码。我的代码没有任何“问题”，因为在后台实例之间添加 5 秒的延迟时它可以完美地工作。

Answer 1

使用 Gnu 记录错误，现在尽可能使用其他东西，在并发运行之间添加时间延迟。可能创建一个包装器来获取 ftp 目录列表，一次只允许检索一个。

:-/