如何构建 .NET 应用程序以同时多次执行相同的任务独立？

发布于 2024-12-05 02:32:26 字数 391 浏览 4 评论 0原文

我需要开发一个与网络蜘蛛/爬虫非常相似的.NET应用程序。从网站获取数据、处理数据、将数据保存在数据库中并发送电子邮件。

我想在机器可以的情况下一次处理尽可能多的站点（在合理范围内）。每个进程都是相互独立的。我将使用一些第三方服务器组件，例如来自 Chilkat Software 的组件。仅使用一台计算机。从 Windows 7 64 位开始，然后转到 Windows Server。

我应该使用什么架构或设计来处理我提到的要求？运行应用程序的多个实例（最简单的方法）？使用 Windows WorkFlow Foundation（从未使用过）？某种并行处理？ ..？一个指向遵循建议设计的示例应用程序的指针是一个优点。

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

心的憧憬 2024-12-12 02:32:26

可以使用管道架构：crawl ->流程->保存到数据库->电子邮件;应该使用线程安全队列来连接不同的阶段；每个阶段可以单独设置为使用N个线程。然后在生产环境中，测量和调整每个阶段可以使用的线程数，以便大多数时间没有阶段等待其他阶段提供/消耗数据。

请注意，还有许多其他因素需要调整才能获得最佳结果。示例：假设您的数据库每秒最多可以处理一次保存，但数据库之前的管道每秒可以轻松生成十页，在这种情况下，您可能希望将数据库和进程之间的队列大小限制为一个较小的数字。

调整所有这些因素并观察它们如何相互作用是有趣的。与简单的多线程/处理方法相比，您会惊讶地发现机器的性能如何。

回复收藏 0 原文

半枫 2024-12-12 02:32:26

我建议使用 System.Threading.Tasks 库对于这样的事情。

然后你可以在你的应用程序中执行类似的操作：

foreach(var input in listToProcess)
{
  Task.Factory.StartNew(() => ProcessInput(input));
}

private static void ProcessInput(Foo myInput)  // for example, this might be a url in your case
{
  // your specific processing here: get data from site, process, save, email
}

I'd recommend using the System.Threading.Tasks library for something like this.

You could then do something like this in your app:

foreach(var input in listToProcess)
{
  Task.Factory.StartNew(() => ProcessInput(input));
}

private static void ProcessInput(Foo myInput)  // for example, this might be a url in your case
{
  // your specific processing here: get data from site, process, save, email
}

回复收藏 0 原文