C# - 从一个线程到另一个线程的实时文本馈送

Question

在线程“A”中，我想读取一个很长的文件，当发生这种情况时，我想将读取的每个新行发送到另一个线程“B”，这会对它们做一些事情。

基本上，我不想在开始处理这些行之前等待文件加载完成。 （我肯定想要 2 个线程以及它们之间的通信；我以前从未这样做过，我想学习）

那么，我该如何去做呢？ 在线程 A 向线程 B 发送另一行之前，线程 A 应该等待线程 B 完成处理“当前行”。但这效率不高；那么线程 B 中的缓冲区怎么样？（捕获线路）

另外，请举例说明我必须使用哪些方法来进行跨线程通信，因为我还没有找到/看到任何有用的示例。

谢谢。

Answer 1

首先，尚不清楚两个线程在这里是否一定有用。单个线程一次读取一行（使用 StreamReader 非常容易）并随时处理每一行可能至少也能执行同样的操作。文件读取被缓冲，并且操作系统可以在请求数据的代码之前读取，在这种情况下，您的大多数读取将立即完成，因为操作系统已经提前从磁盘读取下一行，或者您的两个线程都将立即完成必须等待，因为磁盘上没有数据。 （让 2 个线程等待磁盘并不比让 1 个线程等待磁盘更快。）唯一可能的好处是，您可以通过在处理完前一个读取之前开始下一个读取来避免死时间，但无论如何，操作系统通常都会为您做这件事。因此，多线程的好处在这里最多是微不足道的。

但是，既然您说您这样做是作为一项学习练习，那么这可能不是问题...

我会使用 BlockingCollection 作为将数据从一个线程传递到另一个线程的机制。其他。 （只要您使用 .NET 4 或更高版本。如果没有...我建议您迁移到 .NET 4 - 它将大大简化此任务。）您将从文件中读取一行并将其放入来自一个线程的集合：

string nextLine = myFileReader.ReadLine();
myBlockingCollection.Add(nextLine);

然后其他线程可以从中检索行：

while (true)
{
    string lineToProcess = myBlockingCollection.Take();
    ProcessLine(lineToProcess);
}

这将使读取线程以磁盘允许的速度运行文件，而处理线程以任何速率处理数据。如果处理线程领先于文件读取线程，则 Take 方法只是等待。

这样做的一个问题是，如果文件很大并且处理速度很慢，您的读取线程可能会超前 - 您的程序可能会尝试从文件中读取千兆字节的数据，而只处理了前几千字节。在处理数据之前读取数据并没有多大意义——您实际上只想提前阅读一点。您可以使用 BlockingCollection 的 BoundedCapacity 属性来限制事物 - 如果您将其设置为某个数字，则调用 Add如果集合中已包含该行数，则将阻塞，并且在处理循环处理其下一行之前，您的读取线程将不会继续。

将使用双线程技术的程序的性能与仅从文件中读取行并在单个线程上循环处理它们的程序进行比较是很有趣的。您将能够在此处看到从多线程方法中获得的好处（如果有的话）。

顺便说一句，如果您的处理非常占用 CPU 资源，您可以使用此主题的变体来拥有多个处理线程（并且仍然是单个文件读取线程），因为 BlockingCollection 非常乐意有无数的消费者都在阅读该系列。当然，如果完成处理文件行的顺序很重要，那么这将不是一种选择，因为尽管您将以正确的顺序开始处理，但如果您有多个处理线程，则一个线程可能会可能会超过另一个，导致乱序完成。