使用 PHP 规范给定基本 url 的 uri 部分

Question

首先，我正在为网络爬虫（又名蜘蛛又名蠕虫...）执行此操作，

给定两个字符串（基本 url 和相对 url），我需要确定绝对 url。 当涉及到“SEO 友好”的废话时，尤其令人困惑，例如：

基本 url: http:// aaa.com/january/15/test 找到 url: /test.php?aaa

我怎么知道上面不是文件夹？ 例如;绝对路径是：

http://aaa.com/january/15/test/test .php?aaa

或者：

http://aaa.com/january/15/test.php?aaa

?

混乱源于是否有正在运行的索引。 “/test/index.php”还是“/index.php”？

Answer 1

仅通过检查 URL 无法解决此问题。

您说需要给定基本 URL 和相对 URL 的绝对 URL。完整 URL 是基本 URL 和相对 URL 的串联。正如您所看到的，知道这一点没有任何帮助。

http://example.com/directory/index.php 和
http://example.com/directory/ 可以合法地引用两个不同的资源。

http://example.com/directory/index.php 和 http://example.com/directory/foo/bar/baz.php 可以合法地引用同样的终极资源。

在上面的第二个示例中，哪个是规范 URL？这不一定是可以通过计算确定的事情。规范 URL 是您选择作为规范 URL 的 URL。

您实际上在这里面临两个问题：

1. 两个不同的 URL 何时引用同一资源？
2. 哪个 URL 是规范 URL？

1.两个不同的 URL 何时引用同一资源？

这无法通过以任何方式比较 URL 来确定。这只能通过比较资源本身（即内容和 HTTP 标头）来确定。

ETag - http://en.wikipedia.org/wiki/HTTP_ETag

简而言之，ETag 是一个资源唯一的 HTTP 标头。其目的是用于缓存验证，即我的缓存中的内容是否与 http://example.com 中的内容相同/内容？

两个相同的资源（至少来自同一主机）将具有相同的 ETag 标头值。如果可能，请使用此选项（并非所有 Web 服务器都会返回 ETag 标头）。

HTTP 标头和内容比较

两个资源何时相同？当内容类型和内容相同时。

使用 Content-Type 标头比较内容类型。比较内容本身是字符串比较的简单情况。

如果您要存储以前找到的资源的属性并将其与新找到的资源进行比较，则无需出于比较目的考虑资源的全文 - 哈希即可。

就 PHP 而言，HTTP 扩展将为您提供所需的一切，并提供非常方便的 OO API 来检查HTTP 标头和资源的完整内容。 md5() 函数是生成唯一哈希的选项之一。还有其他的。

2.哪个 URL 是规范 URL？

选择一个并坚持使用。默认情况下，对于同一资源，一个 URL 并不比另一个 URL 更规范。为简单起见，您可以将两个 URL 中最短的一个视为规范形式。