python爬虫的时候有些网站不允许直接对图片进行访问，那如何直接用python下载整个网页（包括图片）？

Question

如果不限制图片访问的话下面这样就行了，但是如果限制的话就不行了。
另外不太明白浏览器请求图片的过程，应该也是先得到文本再去单独请求每一张图片的吧，是不是请求时携带的信息起了作用？

import requests
...

r=requests.get("url",headers=hearders)
f=open('tmp.jpg','wb')
for chunk in r.iter_content(chunk_size=1024):
    f.write(chunk)
    f.flush()
f.close()

Answer 1

一般都是来路判断，在请求http中增加 http_referrer = 图片所在域名

Answer 2

图片内容也有一个来源地址，像访问页面一样访问该地址即可。作为测试 把地址贴到浏览器里，看看打开的页面内容就好