使用 fnmatch.filter 按多个可能的文件扩展名过滤文件

Question

给定以下一段 python 代码：

for root, dirs, files in os.walk(directory):
    for filename in fnmatch.filter(files, '*.png'):
        pass

如何过滤多个扩展？在这种特殊情况下，我想获取所有以 *.png、*.gif、*.jpg 或 *.jpeg 结尾的文件。

现在我想出了

for root, dirs, files in os.walk(directory):
    for extension in ['jpg', 'jpeg', 'gif', 'png']:
        for filename in fnmatch.filter(files, '*.' + extension):
            pass

但我认为它不是很优雅和高性能。

有人有更好的主意吗？

Answer 1

如果您只需要检查扩展名（即不需要进一步的通配符），为什么不简单地使用基本的字符串操作呢？

for root, dirs, files in os.walk(directory):
    for filename in files:
        if filename.endswith(('.jpg', '.jpeg', '.gif', '.png')):
            pass

Answer 2

我认为你的代码实际上很好。如果您只想对每个文件名进行一次处理，请定义您自己的过滤函数：

def is_image_file(filename, extensions=['.jpg', '.jpeg', '.gif', '.png']):
    return any(filename.endswith(e) for e in extensions)

for root, dirs, files in os.walk(directory):
    for filename in filter(is_image_file, files):
        pass

Answer 3

这将是一个更好的方法，也许是因为您没有重复调用 + 并使用 tuple 而不是 list。

for root, dirs, files in os.walk(directory):
    for extension in ('*.jpg', '*.jpeg', '*.gif', '*.png'):
        for filename in fnmatch.filter(files, extension):
            pass

元组更好，因为一旦创建了扩展，您就不会再修改它们。您只是用来迭代它们。

Answer 4

我一直在使用这个并取得了很大的成功。

import fnmatch
import functools
import itertools
import os

# Remove the annotations if you're not on Python3
def find_files(dir_path: str=None, patterns: [str]=None) -> [str]:
    """
    Returns a generator yielding files matching the given patterns
    :type dir_path: str
    :type patterns: [str]
    :rtype : [str]
    :param dir_path: Directory to search for files/directories under. Defaults to current dir.
    :param patterns: Patterns of files to search for. Defaults to ["*"]. Example: ["*.json", "*.xml"]
    """
    path = dir_path or "."
    path_patterns = patterns or ["*"]

    for root_dir, dir_names, file_names in os.walk(path):
        filter_partial = functools.partial(fnmatch.filter, file_names)

        for file_name in itertools.chain(*map(filter_partial, path_patterns)):
            yield os.path.join(root_dir, file_name)

示例：

for f in find_files(test_directory):
    print(f)

产量：

.\test.json
.\test.xml
.\test.ini
.\test_helpers.py
.\__init__.py

使用多种模式进行测试：

for f in find_files(test_directory, ["*.xml", "*.json", "*.ini"]):
    print(f)

产量：

.\test.json
.\test.xml
.\test.ini

Answer 5

这也不是很优雅，但它有效：

for root, dirs, files in os.walk(directory):
    for filename in fnmatch.filter(files, '*.png') + fnmatch.filter(files, '*.jpg') + fnmatch.filter(files, '*.jpeg') + fnmatch.filter(files, '*.gif'):
        pass

Answer 6

在内部，fnmatch 使用正则表达式。还有一种方法可以根据 fnmatch 模式生成正则表达式 - fnmatch.translate。这也可能会带来一点加速。

import fnmatch
import os
import re

image_exts = ['jpg', 'jpeg', 'gif', 'png']
image_re = re.compile('|'.join(fnmatch.translate('*.' + e) for e in image_exts))
for root, dirs, files in os.walk(directory):
    for filename in files:
        if image_re.match(filename):
            ...

Answer 7

这是我用来过滤 apache 日志目录中的文件的内容。
这里我排除错误文件

rep_filters = [now.strftime("%Y%m%d")]
def files_filter(liste_fic, filters = rep_filters):
    s = "(fic for fic in liste_fic if fic.find('error') < 0"
    for filter in filters:
        s += " and fic.find('%s') >=0 " % filter
    s += ")"
    return eval(s)

Answer 8

请尝试这个：

# pattern_list = ['*.jpg', '__.*']
def checkFilepatter(filename, pattern_list):
    for pattern in pattern_list:
        if fnmatch.fnmatch(filename, pattern):
            return True
    return False

Answer 9

您可以使用列表理解来检查 my_file 是否与 patterns 中定义的任何文件掩码匹配：

import fnmatch

my_file = 'my_precious.txt'
patterns = ('*.txt', '*.html', '*.mp3')


if [pat for pat in patterns if fnmatch.fnmatch(my_file, pat)]:
    print('We have a match!')
else:
    print('No match')

Answer 10

最清晰的解决方案是：

import os

for root, dirs, files in os.walk(directory):
    for filename in files:
        _, ext = os.path.splitext(filename)
        if ext in ['.jpg', '.jpeg', '.gif', '.png']:
            ...

或者，使用 pathlib ,

for path in pathlib.Path(directory).glob('**/*'):
    if path.suffix in ['.jpg', '.jpeg', '.gif', '.png']:
        ...