请问下面这个python3.5下的爬虫程序有什么错误,为什么运行正常 但是不爬取图片?

发布于 2022-09-02 11:56:16 字数 920 浏览 9 评论 0

环境:OS X EI 10.11.4
python3.5

import socket

import re

import os

import sys

targetDir = r".\" # 当前目录下

def destFile(path):
    if not os.path.isdir(targetDir):
        os.mkdir(targetDir)

    pos = path.rindex('/')

    t = os.path.join(targetDir,pos[pos+1])

    return  t

if __name__ == '__main__': # 程序运行入口

    weburl = 'http://www.douban.com'

    webheaders = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:43.0) Gecko/20100101 Firefox/43.0'}

    req = urllib.request.Request(url=weburl,headers=webheaders) #构造请求报头

    webpage = urllib.request.urlopen(req)   #发送请求报头

    contentBytes = webpage.read()

    for link,t in set(re.findall(r'(http:[^\s]*?(jpg|png|gif))',str(contentBytes))): #正则表达式查找所有的图片
        print(link)

        try:
            urllib.request.urlretrieve(link,destFile(link)) #下载图片
        except:
            print('失败') #异常抛出

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

淑女气质 2022-09-09 11:56:16

正则表达式写错了 https://([^\s]+)\.(jpg|png|gif) 协议是https的
另外bytes到str应该用decode()而不是str()

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文