我如何 CURL www.google.com - 它不断将我重定向到 .co.uk

Question

我正在使用 CURL 来检查 URL 是否存在（HEAD 请求），但是当我使用 www.google.com 测试它时，它会将我重定向到 www.google.co.uk< /code> - 可能是因为我的服务器位于英国。

有什么办法可以阻止这种情况发生吗？我不想删除 CURLOPT_FOLLOWLOCATION 选项，因为这对于 301 重定向等很有用。

我的部分代码如下；

$ch = curl_init();

    // set URL and other appropriate options
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
    curl_setopt($ch, CURLOPT_MAXREDIRS, 5);
    curl_setopt($ch, CURLOPT_NOBODY, true);
    curl_setopt($ch, CURLOPT_AUTOREFERER, true);
    curl_setopt($ch, CURLOPT_FORBID_REUSE, true);
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 4);
    curl_setopt($ch, CURLOPT_TIMEOUT, 4);

    $output = curl_exec($ch);

    // get data     
$data = curl_getinfo($ch);

当我将 $url 设置为 www.google.com 时，$data['url'] 包含 www.google.co.uk

Answer 1

您需要将curl 与cookie 一起使用来模拟浏览器中的类似行为。

当您从英国访问 google.com 时，它会将您重定向到 google.co.uk，但是该页面上有一个标题为“转到 google.com”的链接，可让您返回 google.com 并留在那里。它使用 cookie 来记住您的网站偏好。

例如，以下是我执行此操作后得到的 cookie（使用 Firefox）：

Answer 2

尝试访问 www.google.com/ncr，它将避免重定向到 .co.uk（或任何其他国家/地区）页面。

Answer 3

另一种选择是使用简单的 crypto.google.com。那不会重定向。

Answer 4

有点黑客行为，但是使用 IP 地址怎么样？ http://216.239.59.147/ http://66.102.7.104/

Answer 5

您可以直接使用 www.google.co.uk ，没有区别。 google.com/.net 始终会重定向到您的位置，但如果您使用 .co.uk 等国家/地区 TLD，它不会重定向。

使用 .com 或 .net 时，没有办法（据我所知）阻止重定向。

Answer 6

避免 Google 决定您所在国家/地区的一种方法是设置不同的 IP 地址。只需从网络上获取众多美国代理服务器之一并执行以下操作：

$ch=curl_init();
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch,CURLOPT_FOLLOWLOCTION,1); 
curl_setopt($ch,CURLOPT_PROXY,"8.12.33.159");
curl_setopt($ch,CURLOPT_PROXYPORT,"80");
curl_setopt($ch,CURLOPT_USERAGENT,"Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.3) Gecko/2008092417 Firefox/3.0.3");
curl_setopt($ch,CURLOPT_URL,$URI);
$results=curl_exec($ch);
curl_close($ch);

这样，Google 就会认为您来自美国 IP 地址，而不是重定向到本地 Google。

Answer 7

你应该关闭curl的跟随位置（将其设置为false），你将不会再被重定向......

   curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);