Scrapy图片下载如何使用自定义文件名

Question

对于我的 scrapy 项目，我目前正在使用 ImagesPipeline。下载的图像使用其 URL 的 SHA1 哈希存储为文件名。

如何使用我自己的自定义文件名来存储文件？

如果我的自定义文件名需要包含同一项目中的另一个抓取字段怎么办？例如，使用 item['desc'] 和带有 item['image_url'] 的图像文件名。如果我理解正确，这将涉及以某种方式从图像管道访问其他项目字段。

任何帮助将不胜感激。

Answer 1

这只是 scrapy 0.24（已编辑）答案的实现，其中 image_key() 已弃用

class MyImagesPipeline(ImagesPipeline):

    #Name download version
    def file_path(self, request, response=None, info=None):
        #item=request.meta['item'] # Like this you can use all from item, not just url.
        image_guid = request.url.split('/')[-1]
        return 'full/%s' % (image_guid)

    #Name thumbnail version
    def thumb_path(self, request, thumb_id, response=None, info=None):
        image_guid = thumb_id + response.url.split('/')[-1]
        return 'thumbs/%s/%s.jpg' % (thumb_id, image_guid)

    def get_media_requests(self, item, info):
        #yield Request(item['images']) # Adding meta. I don't know, how to put it in one line :-)
        for image in item['images']:
            yield Request(image)

Answer 2

在 scrapy 0.12 中我解决了这样的问题

class MyImagesPipeline(ImagesPipeline):

    #Name download version
    def image_key(self, url):
        image_guid = url.split('/')[-1]
        return 'full/%s.jpg' % (image_guid)

    #Name thumbnail version
    def thumb_key(self, url, thumb_id):
        image_guid = thumb_id + url.split('/')[-1]
        return 'thumbs/%s/%s.jpg' % (thumb_id, image_guid)

    def get_media_requests(self, item, info):
        yield Request(item['images'])

Answer 3

我在2017年找到了自己的方法，scrapy 1.1.3

def file_path(self, request, response=None, info=None):
    return request.meta.get('filename','')

def get_media_requests(self, item, info):
    img_url = item['img_url']
    meta = {'filename': item['name']}
    yield Request(url=img_url, meta=meta)

就像上面的代码一样，你可以在get_media_requests()中将你想要的名称添加到Request元中，并在file_path()中取回它 通过 request.meta.get('yourname','')。

Answer 4

这就是我在 Scrapy 0.10 中解决问题的方法。
检查 FSImagesStoreChangeableDirectory 的 persist_image 方法。下载图像的文件名是关键

class FSImagesStoreChangeableDirectory(FSImagesStore):

    def persist_image(self, key, image, buf, info,append_path):

        absolute_path = self._get_filesystem_path(append_path+'/'+key)
        self._mkdir(os.path.dirname(absolute_path), info)
        image.save(absolute_path)

class ProjectPipeline(ImagesPipeline):

    def __init__(self):
        super(ImagesPipeline, self).__init__()
        store_uri = settings.IMAGES_STORE
        if not store_uri:
            raise NotConfigured
        self.store = FSImagesStoreChangeableDirectory(store_uri)

Answer 5

我为此做了一个令人讨厌的快速黑客攻击。就我而言，我将图像的标题存储在我的提要中。而且，每个项目只有 1 个 image_urls，因此，我编写了以下脚本。它基本上使用我存储为 json 的项目提要中的相应标题重命名 /images/full/ 目录中的图像文件。

import os
import json

img_dir = os.path.join(os.getcwd(), 'images\\full')
item_dir = os.path.join(os.getcwd(), 'data.json')

with open(item_dir, 'r') as item_json:
    items = json.load(item_json)

for item in items:
    if len(item['images']) > 0:
        cur_file = item['images'][0]['path'].split('/')[-1]
        cur_format = cur_file.split('.')[-1]
        new_title = item['title']+'.%s'%cur_format
        file_path = os.path.join(img_dir, cur_file)
        os.rename(file_path, os.path.join(img_dir, new_title))

这很令人讨厌&不推荐。但是，这是一种天真的替代方法。

Answer 6

我重写了代码，在thumb_path def中更改了“响应”。通过“请求”。如果否，它将不起作用，因为“响应设置为无”。

class MyImagesPipeline(ImagesPipeline):

    #Name download version
    def file_path(self, request, response=None, info=None):
        #item=request.meta['item'] # Like this you can use all from item, not just url.
        image_guid = request.url.split('/')[-1]
        return 'full/%s' % (image_guid)

    #Name thumbnail version
    def thumb_path(self, request, thumb_id, response=None, info=None):
        image_guid = thumb_id + request.url.split('/')[-1]
        return 'thumbs/%s/%s.jpg' % (thumb_id, image_guid)

    def get_media_requests(self, item, info):
        #yield Request(item['images']) # Adding meta. Dunno how to put it in one line :-)
        for image in item['images']:
            yield Request(image)