打开多个文件的大中央策略

Question

我有一个使用 Grand Central 调度队列的工作实现，它 (1) 打开一个文件并计算“queue1”上的 OpenSSL DSA 哈希，(2) 将哈希写入新的“side car”文件，以便稍后在“queue2”上进行验证。

我想同时打开多个文件，但基于一些逻辑，不会因为打开数百个文件并超过硬盘驱动器的可持续输出而“阻塞”操作系统。 iPhoto 或 Aperture 等照片浏览应用程序似乎可以打开多个文件并显示它们，因此我假设这是可以完成的。

我假设最大的限制是磁盘 I/O，因为应用程序（理论上）可以同时读取和写入多个文件。

有什么建议吗？

TIA

Answer 1

你是对的，你肯定会受到 I/O 的限制。同时打开多个文件并主动读取的随机访问性质将使情况变得更加复杂。

因此，您需要取得一些平衡。正如您所观察到的，一个文件很可能不是最有效的。

亲自？

我会使用调度信号量。

类似于：

@property(nonatomic, assign) dispatch_queue_t dataQueue;
@property(nonatomic, assign) dispatch_semaphore_t execSemaphore;

以及：

- (void) process:(NSData *)d {
    dispatch_async(self.dataQueue, ^{
        if (!dispatch_semaphore_wait(self.execSemaphore, DISPATCH_TIME_FOREVER)) {
            dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0), ^{
                ... do calcualtion work here on d ...
                dispatch_async(dispatch_get_main_queue(), ^{
                    .... update main thread w/new data here ....
                });
                dispatch_semaphore_signal(self.execSemaphore);
            });
        }
    });
}

从哪里开始：

self.dataQueue = dispatch_queue_create("com.yourcompany.dataqueue", NULL);
self.execSemaphore = dispatch_semaphore_create(3);
[self process: ...];
[self process: ...];
[self process: ...];
[self process: ...];
[self process: ...];
.... etc ....

您需要确定如何最好地处理排队。如果有很多项目并且存在取消的概念，那么将所有项目排队可能会造成浪费。同样，您可能希望将 URL 排入要处理的文件，而不是像上面那样的 NSData 对象。

无论如何，上面的代码将同时处理三件事，无论有多少件事已排队。

Answer 2

您已经收到了很好的答案，但我想补充几点。我参与过的项目枚举文件系统中的所有文件并计算每个文件的 MD5 和 SHA1 哈希值（除了其他处理之外）。如果您正在执行类似的操作，即搜索大量文件并且这些文件可能具有任意内容，则需要考虑以下几点：

• 如上所述，您将受到 I/O 限制。如果同时读取超过 1 个文件，则会对每次计算的性能产生负面影响。显然，并行调度计算的目标是保持文件之间的磁盘繁忙，但您可能需要考虑以不同的方式构建您的工作。例如，设置一个枚举并打开文件的线程，设置第二个线程从第一个线程一次获取一个打开的文件句柄并处理它们。文件系统会缓存目录信息，因此枚举不会对读取数据产生严重影响，数据实际上必须写入磁盘。

• 如果文件可以任意大，Chris 的方法可能不实用，因为整个内容都读入内存。

• 如果除了计算哈希值之外，数据没有其他用途，那么我建议在读取数据之前禁用文件系统缓存。

如果使用 NSFileHandles，一个简单的类别方法将为每个文件执行此操作：

@interface NSFileHandle (NSFileHandleCaching)
- (BOOL)disableFileSystemCache;
@end

#include <fcntl.h>

@implementation NSFileHandle (NSFileHandleCaching)
- (BOOL)disableFileSystemCache {
     return (fcntl([self fileDescriptor], F_NOCACHE, 1) != -1);
}
@end

• 如果 sidecar 文件很小，您可能需要将它们收集在内存中并批量写出，以尽量减少处理的中断。

• 文件系统（至少是 HFS）按顺序存储目录中文件的文件记录，因此要广度优先遍历文件系统（即，在进入子目录之前处理目录中的每个文件）。

当然，以上只是建议。您将需要进行实验和测量性能以确认实际影响。

Answer 3

我会使用 NSOperation 来实现此目的，因为可以轻松处理依赖项和取消。

我将创建一个操作，分别用于读取数据文件、计算数据文件的哈希值和写入 sidecar 文件。我将使每个写入操作依赖于其关联的计算操作，并且每个计算操作依赖于其关联的读取操作。

然后，我将读取和写入操作添加到一个宽度受限的 NSOperationQueue（“I/O 队列”）中。我将计算操作添加到一个单独的 NSOperationQueue（“计算队列”），其宽度不受限制。

I/O 队列宽度受限的原因是您的工作可能会受 I/O 限制；您可能希望它的宽度大于 1，但它很可能与输入文件所在的物理磁盘的数量直接相关。 （可能类似于 2x，您需要通过实验来确定这一点。）

代码最终看起来像这样

@implementation FileProcessor

static NSOperationQueue *FileProcessorIOQueue = nil;
static NSOperationQueue *FileProcessorComputeQueue = nil;

+ (void)inititalize
{
    if (self == [FileProcessor class]) {
        FileProcessorIOQueue = [[NSOperationQueue alloc] init];
        [FileProcessorIOQueue setName:@"FileProcessorIOQueue"];
        [FileProcessorIOQueue setMaxConcurrentOperationCount:2]; // limit width

        FileProcessorComputeQueue = [[NSOperationQueue alloc] init];
        [FileProcessorComputeQueue setName:@"FileProcessorComputeQueue"];
    }
}

- (void)processFilesAtURLs:(NSArray *)URLs
{
    for (NSURL *URL in URLs) {
        __block NSData *fileData = nil; // set by readOperation
        __block NSData *fileHashData = nil; // set by computeOperation

        // Create operations to do the work for this URL

        NSBlockOperation *readOperation =
            [NSBlockOperation blockOperationWithBlock:^{
                fileData = CreateDataFromFileAtURL(URL);
            }];

        NSBlockOperation *computeOperation =
            [NSBlockOperation blockOperationWithBlock:^{
                fileHashData = CreateHashFromData(fileData);
                [fileData release]; // created in readOperation
            }];

        NSBlockOperation *writeOperation =
            [NSBlockOperation blockOperationWithBlock:^{
                WriteHashSidecarForFileAtURL(fileHashData, URL);
                [fileHashData release]; // created in computeOperation
            }];

        // Set up dependencies between operations

        [computeOperation addDependency:readOperation];
        [writeOperation addDependency:computeOperation];

        // Add operations to appropriate queues

        [FileProcessorIOQueue addOperation:readOperation];
        [FileProcessorComputeQueue addOperation:computeOperation];
        [FileProcessorIOQueue addOperation:writeOperation];
    }
}

@end

： NSOperation 不像使用 dispatch_* API 那样处理同步/异步的多重嵌套层，而是允许您独立定义工作单元以及它们之间的依赖关系。对于某些情况，这可以更容易理解和调试。

Answer 4

libdispatch 实际上为此明确提供了 API！查看dispatch_io；它会在适当的时候处理并行 IO，否则会序列化它以避免磁盘抖动。

Answer 5

以下链接是我使用 NSOperation 和 Grand Central Dispatch 设置的 BitBucket 项目，并使用原始文件完整性应用程序。

https://bitbucket.org/torresj/hashar-cocoa

我希望它有帮助/使用。