编写一个C#脚本来测试数百个域名

Question

一位客户给了我一份包含数百个域名的电子表格。

我的任务是确定每个域的以下内容：

• 哪些域连接到 Web 服务器/网站。
• 其中，重定向到另一个站点。
• 运行的服务器软件是什么（ASP、ASP.NET、Apache 等）

...并以有组织的方式输出结果。

有没有一个脚本（最好是 C#）可以帮助解决这个问题？

Answer 1

您可以使用 HttpWebRequest 类来测试域名称。根据 HttpWebResponse 的 HttpStatus 属性，您可以决定是否存在重定向。

在某些情况下，您可能能够通过查看随响应发送的标头来找出服务器软件，但可能并非所有（或只有少数）服务器都发送这些标头。

Answer 2

为此，我使用了以下内容：

HttpWebRequest req = (HttpWebRequest)WebRequest.Create(uri);
req.AllowAutoRedirect = false; // allows tracking of redirects
HttpWebResponse resp = (HttpWebResponse)req.GetResponse();
string server = resp.Headers["Server"]; // to track server software
string poweredby = resp.Headers["X-Powered-By"]; //denotes ASP.NET, PHP, etc
string aspnetVersion = resp.Headers["X-AspNet-Version"]; //only applies to IIS servers

可以捕获一些附加响应标头以获取更多信息：

http:// /en.wikipedia.org/wiki/List_of_HTTP_headers

Answer 3

您的大多数需求都可以通过 System.Net.WebClient 类来处理。一个棘手的问题是该网站使用什么服务器软件。即使您运行直接查询服务器的程序，您也无法可靠地判断它正在使用什么服务器软件，因为该软件通常可以配置为欺骗您并告诉您并模仿另一个常见服务器品牌的响应。虽然撒谎并不常见，但也并非闻所未闻（有些人认为撒谎是摆脱困境的最佳做法）。

Answer 4

关于你的第二项

•其中，重定向到另一个站点。

HttpWebRequest/Response 和 WebClient 将捕获大多数重定向，但不是全部，因为有些页面通过 JavaScript 进行重定向。由于它们都不执行 JavaScript，因此您将无法检测到这些情况，除非您使用 WebBrowser 控件或其他能够运行 JavaScript 的控件。