Web 服务中的多个线程

Question

我有一个正在运行的网络服务，它在加载时会联系不同的网站并从中抓取相关信息。随着需求的增长，httpweb 请求的数量也随之增加。

现在我没有在 Web 服务中使用任何异步请求 - 这意味着 ASP.net 一次呈现一个请求。这显然成为了一种负担，因为对 Web 服务本身的一个请求可能需要长达 2 分钟才能完成。

有没有办法将Web服务内的所有这些httpwebreqeusts转换为多线程？

实现这一目标的最佳方法是什么？

谢谢！

Answer 1

如果您正在使用 .Net V4+，您可以使用并行库或任务库，它们可以轻松完成此类操作。

如果您使用相同的方式调用所有 Web 服务（假设所有 Web 服务都遵循相同的 WSDL，只是不同的 url，您可以使用类似这样的东西）：

using System;
using System.Collections.Generic;
using System.Linq;
using System.Net;
using System.Text.RegularExpressions;

namespace ConsoleApplication2
{
    class Program
    {
        private const string StartUrl = @"http://blog.hand-net.com";

        private static void Main()
        {
            var content = DownloadAsString(StartUrl);

            // The "AsParallel" here is the key
            var result = ExtractUrls(content).AsParallel().Select(
                link =>
                {
                    Console.WriteLine("... Fetching {0} started", link);
                    var req = WebRequest.CreateDefault(new Uri(link));

                    var resp = req.GetResponse();

                    var info = new { Link = link, Size = resp.ContentLength};

                    resp.Close();

                    return info;
                }
                );

            foreach (var linkInfo in result)
            {

                Console.WriteLine("Link : {0}", linkInfo.Link);
                Console.WriteLine("Size : {0}", linkInfo.Size);
            }
        }

        private static string DownloadAsString(string url)
        {
            using (var wc = new WebClient())
            {
                return wc.DownloadString(url);
            }
        }

        private static IEnumerable<string> ExtractUrls(string content)
        {
            var regEx = new Regex(@"<a\s+href=""(?<url>.*?)""");
            var matches = regEx.Matches(content);

            return matches.Cast<Match>().Select(m => m.Groups["url"].Value);
        }
    }
}

这个小程序首先下载一个 html 页面，然后提取所有 href。这会生成一组远程文件。
这里的 AsParralel 允许以并行方式运行选择的内容。

此代码没有错误处理、取消功能，但说明了 AsParallel 方法。

如果您无法以相同的方式调用所有 Web 服务，您还可以使用类似以下内容：

        Task.WaitAll(
            Task.Factory.StartNew(()=>GetDataFromWebServiceA()),
            Task.Factory.StartNew(()=>GetDataFromWebServiceB()),
            Task.Factory.StartNew(()=>GetDataFromWebServiceC()),
            Task.Factory.StartNew(()=>GetDataFromWebServiceD()),
            );

此代码将添加 4 个任务，这些任务将“在可能的情况下”运行。 WaitAll 方法将简单地等待所有任务完成然后返回。

当可能时，我的意思是当线程池中的插槽空闲时。使用任务库时，默认情况下每个处理器核心有一个线程池。如果您有 100 个任务，则这 100 个任务将由 4 核计算机上的 4 个工作线程处理。