使用 Perl 或任何其他语言批量下载文件

Question

我对 JS、HTML、CSS、C、C++ 和 C# 有很好的了解。我有一个为我们学生提供试卷的网站，但是要下载这些试卷，我们必须访问每个页面，这对我们来说太难了。大约有150个文件。所以...;)

下载链接总是这样的：

http://www.example.com/content/download_content.php?content_id=#

其中#是一个数字。

所以我想如果javascript或perl或python或任何其他语言可以下载文件并自动保存在本地。目前我不需要太多，只需要基本代码。我会学习这门语言，然后我会自己发展它。所以请各位朋友帮帮我..

Answer 1

这就是我通常在 bash 中执行此类操作的方式：

for i in `seq 1 1000` ; do wget "http://www.example.com/content/download_content.php?content_id=$i" -O $i.html ; done

UPDATE 由于 URL 指向多个文件类型，因此您可以使用 file 命令来识别下载文件的类型，并相应地调整扩展名：

for i in `seq 1 1000`
do
   wget "http://www.example.com/content/download_content.php?content_id=$i" -O $i.out
   mime=`file --brief --mime-type $i.out`
   if [ "$mime" == "application/pdf" ]
   then
      mv $i.out $i.pdf
   elif [ "$mime" == "application/vnd.ms-office" ]
   then
      mv $i.out $i.doc
   fi
done

Answer 2

这将使用 wget 程序在 shell 脚本中完成此操作，将它们全部转储到当前目录中：

#!/bin/sh
i=1
while [ $i -le 150 ]; do
  wget -O $i.out "http://www.example.com/content/download_content.php?content_id=$i"
  i = $((i + 1))
done

Answer 3

如何使用curl代替：

curl -O http://www.example.com/content/download_content.php?content_id=#[1-150]

应该适用于大多数Linux发行版，如果没有，您可以从这里下载curl：http:// curl.haxx.se/ 或使用“apt-get install curl”