Gawk 中的 TCP 网络适用于某些地址，但不适用于其他地址

Question

我一直在 Gawk 中摆弄 TCP/IP 网络，并且很难弄清楚为什么它在某些网站上表现良好，但在其他网站上却表现不佳。我什至尝试在 Windows 中使用 HTTP Live Headers 来尝试调试正在发生的事情，但无济于事。

下面的示例 Gawk 代码（版本 3.1.5）对于网站 www.sobell.com 可以正常工作，但会挂在 www.drudgreport.com 上。

BEGIN {
print "Dumping HTML of www.sobell.com"

server = "/inet/tcp/0/www.sobell.com/80"
print "GET http://www.sobell.com" |& server
while ((server |& getline) > 0)
    print $0
close(server)

print "Dumping HTML of www.drudgereport.com"

server = "/inet/tcp/0/www.drudgereport.com/80"
print "GET http://www.drudgereport.com" |& server
while ((server |& getline) > 0)
    print $0
close(server)

}

我很感激任何帮助！谢谢大家。

Answer 1

您的代码（和 gawk 手册）使用过时的 HTTP/0.9 语法。显然第二个服务器不再支持这一点。重要区别：

• 行必须以“\r\n”结尾，而不是普通的 UNIX 换行符。
• 您必须以空行结束您的请求。
• 将版本类型（HTTP/1.0 或 HTTP/1.1）添加到请求行的末尾。
• 通常请求字符串不包含主机名，它被放在单独的“Host:”行中。

以下代码对我有用：

BEGIN {
    ORS = "\r\n"
    server = "/inet/tcp/0/www.drudgereport.com/80"
    print "GET / HTTP/1.1" |& server
    print "Host: www.drudgereport.com" |& server
    print "" |& server
    while ((server |& getline) > 0)
        print $0
    close(server)
}

您可以在 RFC 1945 中找到所有血腥细节（ 1.0）和 RFC 2616 (1.1)。