获取“远程服务器返回错误：(503) 服务器不可用”在 ttp://toolbarqueries.google.com/search?q=info:(域名)

Question

我正在尝试创建一个 Windows 服务。该服务的目的是从数据库中获取网址并从谷歌检查其页面排名。目的是抓住任何伪造页面排名的人。我在 http://www.codeproject.com/KB/aspnet/Google_Pagerank 找到了一些代码。 aspx 并使用了它。

现在这里是代码

  public static int GetPageRank()
    {

        string file = "http://toolbarqueries.google.com/search?q=info:codeproject.com";
        try
        {
            //Request PR from Google



            WebRequest request = WebRequest.Create(file);
            WebResponse response = request.GetResponse();

            StreamReader reader = new StreamReader(response.GetResponseStream());
            string data = reader.ReadToEnd();

            reader.Close();
            response.Close();

            //Parse PR from string
            int pageRank = -1;
            if (data.IndexOf(':') != -1)
            {
                data = data.Substring(data.LastIndexOf(':') + 1);
            }

            int.TryParse(data, out pageRank);

            return pageRank;
        }
        catch (Exception ex)
        {

            MessageBox.Show(ex.Message);
            return -1;
        }
    }

现在发生的事情是，当经过一些尝试（例如 100 次尝试）后调用此方法时，我开始出现以下异常。 “远程服务器返回错误：(503) 服务器不可用”。我做了一些研究，并且也看到了有关堆栈溢出的相关问题。显然，如果许多请求来自同一 IP，谷歌将停止服务请求。是否有任何解决方法可以让我在两小时或三小时内检查数千个页面排名。

Answer 1

是否有任何解决方法可以让我在两小时或三小时内检查数千个页面排名[？]

没有。您只是请求了太多数据。可能有一个 JSON 或 XML API 来获取批量响应，但我不知道 Google 提供了什么。

Answer 2

最后我们所做的是从代理提供商处获取代理并使用它们。必须使用信号量，以便为所有线程分配一个新代理，同时确保代理每分钟使用次数不超过 3 次，并且代理以循环顺序方式轮换。对此没有其他解决办法。