删除文件前几个字节的最快方法

Question

我正在使用 Windows Mobile Compact Edition 6.5 手机，并通过蓝牙将二进制数据写入文件。这些文件变得非常大，16M+，我需要做的是一旦文件被写入，我需要在文件中搜索起始字符，然后删除之前的所有内容，从而消除垃圾。当数据传入时，由于图形问题和速度，我无法内联执行此操作，因为我收到大量数据传入，并且传入数据上已经存在太多 if 条件。我认为最好是发布流程。无论如何，这是我的困境，搜索起始字节的速度和文件的重写有时需要 5 分钟或更长时间......我基本上将文件移动到临时文件中，通过它进行解析并重写一个全新的文件。我必须一个字节一个字节地做这件事。

private void closeFiles() {
    try {

    // Close file stream for raw data.
    if (this.fsRaw != null) {
        this.fsRaw.Flush();
        this.fsRaw.Close();

        // Move file, seek the first sync bytes, 
        // write to fsRaw stream with sync byte and rest of data after it
        File.Move(this.s_fileNameRaw, this.s_fileNameRaw + ".old");
        FileStream fsRaw_Copy = File.Open(this.s_fileNameRaw + ".old", FileMode.Open);
        this.fsRaw = File.Create(this.s_fileNameRaw);

        int x = 0;
        bool syncFound = false;

        // search for sync byte algorithm
        while (x != -1) {
            ... logic to search for sync byte
            if (x != -1 && syncFound) {
                this.fsPatientRaw.WriteByte((byte)x);
            }
        }

        this.fsRaw.Close();

        fsRaw_Copy.Close();
        File.Delete(this.s_fileNameRaw + ".old");
    }


    } catch(IOException e) {
        CLogger.WriteLog(ELogLevel.ERROR,"Exception in writing: " + e.Message);
    }
}

一定有比这更快的方法！

------------使用答案测试时间 -------------

初始测试我的方式，使用一个字节读取和一个字节写入：

27 Kb/sec

使用下面的答案和 32768字节缓冲区：

321 Kb/sec

使用下面的答案和 65536 字节缓冲区：

501 Kb/sec

Answer 1

您正在对整个文件进行按字节复制。由于多种原因，这种做法效率不高。搜索起始偏移量（如果需要两者，则搜索结束偏移量），然后将两个偏移量（或起始偏移量和文件结尾）之间的整个内容从一个流复制到另一个流。

编辑

您不必阅读整个内容即可进行复制。像这样的东西（未经测试，但你明白了）会起作用。

private void CopyPartial(string sourceName, byte syncByte, string destName)
{
    using (var input = File.OpenRead(sourceName))
    using (var reader = new BinaryReader(input))
    using (var output = File.Create(destName))
    {
        var start = 0;
        // seek to sync byte
        while (reader.ReadByte() != syncByte)
        {
            start++;
        }

        var buffer = new byte[4096]; // 4k page - adjust as you see fit

        do
        {
            var actual = reader.Read(buffer, 0, buffer.Length);
            output.Write(buffer, 0, actual);
        } while (reader.PeekChar() >= 0);
    }

}

编辑2

我今天实际上需要类似的东西，所以我决定在不调用 PeekChar() 的情况下编写它。这是我所做的核心 - 请随意将其与上面的第二个 do...while 循环集成。

            var buffer = new byte[1024];
            var total = 0;

            do
            {
                var actual = reader.Read(buffer, 0, buffer.Length);
                writer.Write(buffer, 0, actual);
                total += actual;
            } while (total < reader.BaseStream.Length);

Answer 2

不要因为担心速度太慢而忽视某种方法。 尝试一下！只需 5-10 分钟即可尝试，可能会得到更好的解决方案。

如果数据开始的检测过程不是太复杂/太慢，那么避免在开始之前写入数据实际上可能使程序更有效跳过垃圾数据。

如何做到这一点：

• 使用一个简单的布尔值来了解是否已检测到数据的开始。如果您正在读取垃圾，那么不要浪费时间将其写入输出，只需扫描它以检测数据的开始即可。一旦找到开始，就停止扫描开始并将数据复制到输出。仅复制好的数据只会导致 if (found) 检查，这实际上不会对您的性能产​​生任何明显的影响。

您可能会发现这本身就解决了问题。但如果您需要更高的性能，您可以对其进行优化：

• 您可以采取什么措施来最大限度地减少检测数据开始的工作？也许如果您正在寻找一个复杂的序列，您只需要检查启动该序列的一个特定字节值，并且只有当您找到该起始字节时，才需要进行更复杂的检查。有一些非常简单但有效的字符串搜索算法在这种情况下也可能有所帮助。或者您可以分配一个缓冲区（例如 4kB）并逐渐用传入流中的字节填充它。当缓冲区填满时，然后且仅在缓冲区中搜索“垃圾”的末尾。通过对工作进行批处理，您可以利用内存/缓存一致性来使处理比逐字节执行相同工作的处理效率显着提高。

• 是否需要不断检查所有其他“传入数据的条件”？如何最大限度地减少需要做的工作量，同时仍能达到所需的结果？也许上面的一些想法在这里也可能有帮助？

• 在跳过垃圾数据时，您实际上需要对数据进行任何处理吗？如果没有，那么您可以将整个过程分为两个阶段（跳过垃圾，复制数据），并且在真正重要的时候跳过垃圾不会给您带来任何损失。