多线程哪个最好用？ （线程池或线程）

Question

希望这是一个比我之前提出的问题更好的问题。我有一个 .exe 文件，我将向其传递不同的参数（文件路径），然后它将接受并解析该参数。因此，我将进行一个循环，循环遍历列表中的文件路径并将它们传递给这个 .exe 文件。

为了提高效率，我想将执行分散到多个核心上，我认为你可以通过线程来完成。

我的问题是，我应该使用线程池还是多个线程来异步运行这个 .exe？

另外，根据你们认为哪一个是最好的，如果你们能给我指出一个教程，其中将包含一些关于我想做的事情的信息。谢谢你！

编辑： 我需要将 .exe 的执行次数限制为每个核心执行一次。这是最有效的，因为如果我要解析 100,000 个文件，我不能只启动 100000 个进程。因此，我使用线程将一次执行次数限制为每个核心一次执行。如果有另一种方法（线程除外）可以查明处理器是否没有执行，或者 .exe 是否已完成，请解释。 但如果没有其他方法，我的最后一个问题是如何使用线程调用解析方法，然后在该线程不再使用时回调？

第二次更新（非常重要）：

我仔细阅读了每个人告诉我的内容，并发现了我遗漏的一个我认为不重要的关键要素。所以我使用的是 GUI，我不希望它被锁定。这就是我想使用线程的原因。我现在的主要问题是，如何从线程发回信息，以便我知道执行何时结束？

Answer 1

正如我在回答您之前的问题时所说，我认为您不理解进程和线程之间的区别。流程非常“繁重”(*)；每个进程可以包含许多线程。如果您从父进程生成新进程，则该父进程不需要创建新线程；每个进程都有自己的线程集合。

如果所有工作都在同一进程中完成，则仅在父进程中创建线程。

将线程视为一个工作人员，将进程视为包含一个或多个工作人员的建筑物。

一种策略是“建造一栋大楼，并在其中安置十名工人，每个工人都做一些工作”。您会花费构建一个进程和十个线程的费用。

如果您的策略是“建造一座建筑物。然后让该建筑物中的一名工人下令建造另外 1000 座建筑物，每座建筑物都包含一名执行其命令的工人”，那么您将获得建造 1001 座建筑物并雇用 1001 名员工的费用工人。

您不想想要采取的策略是“建造一座建筑物。在该建筑物中雇用 1000 名工人。然后指示每个工人建造一座建筑物，然后让一名工人去做真正的工作。”创建一个线程，其唯一的工作就是创建一个进程，然后再创建一个线程，这是没有意义的！你有 1001 栋建筑和 2001 名工人，其中一半立即闲置，但仍需支付工资。

看看你的具体问题：关键问题是“瓶颈在哪里？”仅当性能问题是处理器上的性能受到限制时，产生新进程或新线程才会有帮助。如果解析器的性能不是取决于解析文件的速度，而是取决于将其从磁盘中取出的速度，那么并行化将使事情变得非常非常糟糕。您将拥有大量的系统资源，同时用于同一磁盘控制器上的所有锤击，并且随着更多负载堆积在磁盘控制器上，磁盘控制器将变得更慢。

更新：

我需要将 .exe 的执行次数限制为每个核心执行一次。这是最有效的，因为如果我要解析 100,000 个文件，我不能只启动 100000 个进程。因此，我使用线程将一次执行次数限制为每个核心一次执行。如果有另一种方法（线程除外）可以查明处理器是否没有执行，或者 .exe 是否已完成，请解释

这似乎是一种非常复杂的方法。假设您有 n 个处理器。据我了解，您提出的策略是启动 n 个线程，然后让每个线程启动一个进程，并且您知道，由于操作系统可能会为每个 CPU 调度一个线程， >不知何故处理器也会神奇地在不同的CPU上调度每个新进程中的新线程？

这似乎是一个曲折的推理链，取决于操作系统的实现细节。这太疯狂了。 如果要设置特定进程的处理器关联性，只需 设置进程上的处理器亲和力！不要对线程做这种疯狂的事情，并希望它能成功。

我想说的是，如果您希望运行的可执行文件的实例不超过 n 个（每个处理器一个），则根本不要乱搞线程。相反，只需让一个线程处于循环中，持续监视正在运行的进程。如果正在运行的可执行文件的副本少于 n 个，则生成另一个副本并将其处理器关联设置为您最喜欢的 CPU。如果有 n 个或更多可执行文件的副本正在运行，请休眠一秒钟（或一分钟，或任何有意义的时间），当您醒来时，再次检查。继续这样做，直到完成。这似乎是一个更容易的方法。

---

(*) 线程也很重，但它们比进程轻。

Answer 2

我会自发地将您的文件路径推送到线程安全队列中，然后启动多个线程（例如每个核心一个）。每个线程都会重复从队列中弹出一项并进行相应的处理。当队列为空时，工作就完成了。

实现建议（回答评论中的一些问题）：

---

队列：

在 C# 中，您可以查看 队列类 和 Queue.Synchronized 方法 用于实现队列：

“此类型的公共静态（在 Visual Basic 中共享）成员是线程安全的。不保证任何实例成员都是线程的安全的。
为了保证Queue的线程安全，所有操作都必须通过Synchronized方法返回的包装器来完成。
枚举集合本质上不是线程安全的过程。即使集合已同步，其他线程仍然可以修改该集合，这会导致枚举器引发异常。为了保证枚举期间的线程安全，您可以在整个枚举期间锁定集合，或者捕获其他线程所做的更改所导致的异常。”

---

线程：

对于线程部分，我认为： msdn 中的任何示例线程教程 就可以了（该教程有点旧，但应该有效）。 不需要担心线程同步，因为它们可以彼此独立工作。 上面的队列是它们应该唯一的公共资源。需要访问（因此队列的线程安全的重要性）

---

启动外部进程（.exe）：

以下代码借用（并调整）自如何使用 Visual C# 等待加壳应用程序完成，您需要根据自己的需要进行编辑，但作为初学者：

//How to Wait for a Shelled Process to Finish
//Create a new process info structure.
ProcessStartInfo pInfo = new ProcessStartInfo();
//Set the file name member of the process info structure.
pInfo.FileName = "mypath\myfile.exe";
//Start the process.
Process p = Process.Start(pInfo);
//Wait for the process to end.
p.WaitForExit();

---

伪代码：

Main thread;
   Create thread safe queue
   Populate the queue with all the file paths
   Create child threads and wait for them to finish

      Child threads:
         While queue is not empty  << this section is critical, not more then one  
            pop file from queue    << thread can check and pop at the time

            start external exe
                wait for it....
            end external exe 

         end while
      Child thread exits

   Main thread waits for all child threads to finish
Program finishes.

Answer 3

请参阅 此问题了解如何找出核心数量。

然后使用 Parallel.ForEach 与ParallelOptions，其中 MaxDegreeOfParallelism 设置为核心数。

Parallel.ForEach(args, new ParallelOptions() { MaxDegreeOfParallelism = Environment.ProcessorCount }, (element) => Console.WriteLine(element));

Answer 4

如果您的目标是 .Net 4 框架，Parallel.For 或 Parallel.Foreach 将非常有用。如果这些不能满足您的要求，我发现 Task.Factory 非常有用且易于使用。

Answer 5

要回答您修改后的问题，您需要流程。您只需要创建运行该 exe 的正确数量的进程即可。不必担心将它们强制到特定的核心上。 Windows 会自动执行此操作。

如何执行此操作：

您想要确定计算机上的核心数量。您可能只是知道它，并对它进行硬编码，或者您可能想使用诸如 System.Environment.ProcessorCount 之类的东西。

创建一个 List 对象。

然后您想使用 System.Diagnostics.Process.Start 启动那么多进程。返回值将是一个进程对象，您需要将其添加到列表中。

现在重复以下操作直到完成：

调用 Thread.Sleep 等待一段时间。也许一分钟左右。

循环遍历列表中的每个 Process，但请确保使用 for 循环而不是 foreach 循环。对于每个进程，调用 Refresh() 然后检查每个进程的 'HasExited' 属性，如果为 true，则使用 Process.Start 创建一个新进程，并替换列表中已退出的进程与新创建的进程。

Answer 6

如果您要启动 .exe，那么您别无选择。您将在单独的进程中异步运行它。对于启动的程序，我建议您使用单个线程并保留启动的进程的列表。

Answer 7

每个启动的 exe 都会在其自己的进程中发生。您不需要使用线程池或多线程；操作系统管理进程（因为它们是进程而不是线程，所以它们非常独立；完全独立的内存空间等）。