使用终端下载所有 ctrl alt del 网络漫画

Question

我尝试使用以下命令来下载 ctrl alt del 漫画。

$ for filename in $(seq 20021023 20100503); do wget http://www.ctrlaltdel-online.com/comics/"$filename".jpg; done

我收到以下错误代码，bash：意外标记“do”附近的语法错误

我也尝试使用 cURL，使用此命令，

curl http://ctrlaltdel-online.com/comics[20021023..20100503].jpg

我收到以下错误代码，curl：(3 ) [globbing] 错误： pos 37 之后的范围规范错误

出了什么问题，如何修复它？

Answer 1

正如 MSW 指出的那样，抓取网站可能是非法的、不道德的、令作者恼怒的，也可能是完全正常的。请以负责任的方式使用您的脚本编写能力，并以公益为目的 (tm)。寻求许可肯定是一件好事。

请注意，ctrlaltdel-online.com Web 服务器似乎使用正常的 wget 用户代理字符串返回 HTTP 403 禁止 wget。模仿 Firefox 风格的东西似乎绕过了这一点（尽管我打赌他们只是明确拒绝 wget，这表明他们很可能禁止这种类型的访问）。

USERAGENT='Mozilla/5.0 Firefox/3.6.3'
for DAYS in $(seq 365)
do
    NEXT=`date -d "${DAYS} days ago" +%Y%m%d`
    wget -U "${USERAGENT}" "http://www.cad-comic.com/comics/cad/${NEXT}.jpg"
done

用更大的数字替换 365 可以追溯到一年多之前。 wget 输出可能很烦人，因此您可以传递 -q 使其安静。

Answer 2

我正在写同样的脚本。这里是。

import sys
import re
import urllib
import os
import ctypes
from urllib import FancyURLopener

class MyOpener(FancyURLopener):
    version = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; it;rv:1.8.1.11)Gecko/20071127 Firefox/2.0.0.11'


def getlinks(add,m,opener):
    ufile=opener.open(add)
    html=ufile.read()
    dates=re.findall('href="/cad/(\d+)">',html)
    links=[]
    for date in dates:
            if date[4:6]==m:
            links.append('http://www.cad-comic.com/cad/'+date)
    links.reverse()
    print 'Total {} comics found.'.format(len(links))
    #print len(links)
    return links

def getstriplink(link,opener):
    ufile=opener.open(link)
    html=ufile.read()
    url=re.search('img src="(.+)" alt="(.+)" title=',html)
    date=link[-8:]
    return(url.group(1),url.group(2),date)



def main():
    y=raw_input('Enter year 2002 - current(yyyy) ')
    m=raw_input('Enter month(only months 12,11 and 10 for 2002)(mm) ')
    add='http://www.cad-comic.com/cad/archive/'+y
    opener=MyOpener()
    links=getlinks(add,m,opener)
    f=open('/media/aux1/pythonary/cad'+str(y)+str(m)+'.html','w')
    print 'downloading'
    for link in links:
        url=getstriplink(link,opener)
        #date=url[0][-8:]
        date=url[2]
        opener.retrieve(url[0],'/media/aux1/pythonary/getcad_files/strip'+date)
        sys.stdout.flush()
        print'.',
        f.write('<h2>'+url[1]+' '+date+'</h2>'+'<p><img src="getcad_files/strip'+date+'"/></p>')

    f.close()




if __name__ == '__main__':
  main()