WGET - Warc-File仅获得主页和机器人页面？

Question

我正在尝试在一个小型WARC文件上进行一个小项目。我使用了此命令：

[ ! -f course.warc.gz ] && wget -r -l 3 "https://www.ru.nl/datascience/" --delete-after --no-directories --warc-file="course" || echo Most likely, course.warc.gz already exists

第一次运行它，一切都很好，价值超过150页，惊人。现在，我想从头开始重做它，因此我删除了文件“ course.warc.gz';问题是，当我运行相同的命令时，我会收到3页：一张请求，以及两个机器人页面启动。为什么会发生这种情况？

Answer 1

wget可以遵循html中的链接，[...]有时将其称为“递归下载”。执行此操作时，WGET尊重机器人排除标准（/robots.txt）。 （ wget Marual ）

（ https://www.ru.nl/robots.txt“ rel =“ nofollow noreferrer”> robots.txt 包括以下规则：

# Block alle andere spiders
User-agent: *
Disallow: /

难以回答WGET上一次运行期间发生的事情。也许robots.txt更改了？