在 Main 中处理线程化 Web 请求？

Question

我正在用 C# 编写一个应用程序，并且正在创建多个BackgroundWorker 线程来从网页中获取信息。尽管它们是后台工作人员，但我的 GUI 表单变得没有响应。

当我调试时，当程序无响应时我会暂停，我可以看到我在主线程中，并且暂停在网页获取方法上。不过，此方法仅从新线程调用，因此我无法弄清楚为什么我会出现在主线程中。

这有什么意义吗？我可以做什么来确保 Web 请求仅在各自的线程中处理？

编辑：一些代码和解释

我正在处理大量地址。每个线程将处理一个或多个地址。我可以选择要创建多少个线程（我保持谦虚:)）

//in “Controller” class
public void process()
{
for (int i = 1; i <= addressList.Count && i<= numthreads; i++) 
            {
                BackgroundWorker bw = new BackgroundWorker();
                bw.DoWork += doWork;
                bw.RunWorkerAsync((object)i);
            }
}

public void doWork(object sender, DoWorkEventArgs e)
{
    //create an object that has the web fetching method, call it WorkObject
    //WorkObject keeps a reference to Controller. 
    //When it is done getting information, it will send it to Controller to print
    //generate a smaller list of addresses to work on, using e.Argument (should be 'i' from the above 'for' loop)
    WorkObject.workingMethod()
}

当创建 WorkObject 时，它使用“i”来知道它是什么线程号。它将使用它来获取要从中获取信息的网址列表（从主表单、控制器和每个工作对象共享的较大地址列表中 - 每个线程将处理较小的地址列表）。当它迭代列表时，它将调用“getWebInfo”方法。

//in “WorkObject” class
public static WebRequest request;

public void workingMethod()
{
    //iterate over the small list of addresses. For each one, 
        getWebInfo(address)
        //process the info a bit...then
        myController.print()

//note that this isn’t a simple “for” loop, it involves event handlers and threading 
//Timers to make sure one is done before going on to the next
}

public string getWebInfo (string address)
{
    request = WebRequest.Create(address);
                WebResponse response = request.GetResponse();
                StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.UTF8);
                string content = reader.ReadToEnd();
                return content;
}

Answer 1

您应该在您的BackgroundWorker 的DoWork 事件中执行所有网络工作，是吗？

一些剪辑的代码可能会帮助我们理解发生了什么。

Answer 2

在类似的情况下，我发现通过创建自己的线程（没有BackgroundWorker和ThreadPool）并限制活动连接的数量，我可以更好地控制。将 IP 地址写入队列，然后选取每个地址，将其传递给帮助程序类，在该类中您可以在新线程上调用其 DoSomething 方法。通过在启动线程时递增计数器并在线程完成时递减计数器来进行限制。您可以使用帮助程序类中的回调例程来向 UI 线程发出信号以更新界面或指示线程已完成。

使用 UI 改变油门限制并观察任务管理器以查看对内存和 CPU 使用率的影响。您可以在 app.config 中添加 maxconnection 设置以获得更多并发连接。

Answer 3

我无法弄清楚为什么后台工作人员导致挂起，但我没有使用同步 HTTP 请求，而是使用本指南切换到异步：

http://www.developerfusion.com/code/4654/asynchronous-httpwebrequest/

清除了所有挂起的内容。感谢您的回复。