从开放的 HTTP 流中读取数据

Question

我正在尝试使用 .NET WebRequest/WebResponse 类来访问此处的 Twitter 流 API "http://stream.twitter.com/spritzer.json"。

我需要能够打开连接并从打开的连接中增量读取数据。

目前，当我调用 WebRequest.GetResponse 方法时，它会阻塞，直到下载整个响应。 我知道有一个 BeginGetResponse 方法，但这只会在后台线程上执行相同的操作。 我需要在下载仍在进行时访问响应流。 对于我来说，这些课程似乎不可能做到这一点。

Twitter 文档中有对此的具体评论：

“请注意，某些 HTTP 客户端库仅在服务器关闭连接后返回响应正文。这些客户端将无法访问 Streaming API。您必须使用例如，将增量返回响应数据的 HTTP 客户端将提供此功能。

他们指向 Appache HttpClient，但这并没有多大帮助，因为我需要使用 .NET。

有什么想法可以通过 WebRequest/WebResponse 实现这一点，还是我必须去学习较低级别的网络课程？ 也许还有其他库可以让我做到这一点？

谢谢 艾伦

Answer 1

我最终使用了 TcpClient，效果很好。 尽管如此，我仍然有兴趣知道这是否可以通过 WebRequest/WebResponse 实现。 这是我的代码，以防有人感兴趣：

using (TcpClient client = new TcpClient())
{

    string requestString = "GET /spritzer.json HTTP/1.1\r\n";
    requestString += "Authorization: " + token + "\r\n";
    requestString += "Host: stream.twitter.com\r\n";
    requestString += "Connection: keep-alive\r\n";
    requestString += "\r\n";

    client.Connect("stream.twitter.com", 80);

    using (NetworkStream stream = client.GetStream())
    {
        // Send the request.
        StreamWriter writer = new StreamWriter(stream);
        writer.Write(requestString);
        writer.Flush();

        // Process the response.
        StreamReader rdr = new StreamReader(stream);

        while (!rdr.EndOfStream)
        {
            Console.WriteLine(rdr.ReadLine());
        }
    }
}

Answer 2

BeginGetResponse 是您需要的方法。 它允许您增量地读取响应流：

class Program
{
    static void Main(string[] args)
    {
        WebRequest request = WebRequest.Create("http://stream.twitter.com/spritzer.json");
        request.Credentials = new NetworkCredential("username", "password");
        request.BeginGetResponse(ar => 
        {
            var req = (WebRequest)ar.AsyncState;
            // TODO: Add exception handling: EndGetResponse could throw
            using (var response = req.EndGetResponse(ar))
            using (var reader = new StreamReader(response.GetResponseStream()))
            {
                // This loop goes as long as twitter is streaming
                while (!reader.EndOfStream)
                {
                    Console.WriteLine(reader.ReadLine());
                }
            }
        }, request);

        // Press Enter to stop program
        Console.ReadLine();
    }
}

或者如果您觉得使用 WebClient （我个人更喜欢它而不是 WebRequest）：

using (var client = new WebClient())
{
    client.Credentials = new NetworkCredential("username", "password");
    client.OpenReadCompleted += (sender, e) =>
    {
        using (var reader = new StreamReader(e.Result))
        {
            while (!reader.EndOfStream)
            {
                Console.WriteLine(reader.ReadLine());
            }
        }
    };
    client.OpenReadAsync(new Uri("http://stream.twitter.com/spritzer.json"));
}
Console.ReadLine();

Answer 3

我认为现代的方法是：

var client = new HttpClient();
using var stream = await client.GetStreamAsync("http://stream.twitter.com/spritzer.json");

Answer 4

您是否尝试过 WebRequest.BeginGetRequestStream() ？

或者是这样的：

HttpWebRequest request = (HttpWebRequest)WebRequest.Create (http://www.twitter.com );
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream()); 

string str = reader.ReadLine();
while(str != null)
{
   Console.WriteLine(str);
   str = reader.ReadLine();
}