解析爬虫的url

Question

我正在编写一个小型爬虫，在获取链接的同时提取大约 5 到 10 个站点，

../tets/index.html

如果它是 /test/index.html 我们可以添加基本 url http ://www.example.com/test/index.html

我能为这种网址做什么。

Answer 1

像这样的网址是 相对网址 。 “..”表示“父目录”，而“.”表示“父目录”。简单来说就是“这个目录”，就像在 bash 中一样。
例如，如果您正在查看此页面： http://www.someserver/test/foo /bar.html ，里面有一个像这样的url：“../baz/foobar.html”，它实际上会指向 http://www.someserver/test/baz/foobar.html 我想。只是测试一下。

Answer 2

使用 dirname() 获取基本目录，删除 ..< /code> 使用 substr() 并将其附加到那里。像这样：

<?php
$url = "../tets/index.html";
$currentURL = "http://example.com/somedir/anotherdir";
echo dirname($currentURL).substr($url, 2);
?>

输出：

http://example.com/somedir/tets/index.html

Answer 3

查看此 URL 规范化 维基百科页面。