mod_rewrite 规则强制执行规范的百分比编码

Question

我们有一个带有动态 URL 方案的 PHP 应用程序，它要求对字符进行百分比编码，甚至是“非保留字符"，例如实际上不需要编码的括号或撇号。应用程序认为以“错误”方式编码的 URL 会被规范化，然后重定向到“正确”编码。

但 Google 和其他用户代理将以不同的方式规范化百分比编码/解码，这意味着当 Googlebot 请求页面时，它会询问“错误”的 URL，而当它返回到“正确”URL 的重定向时，Googlebot 将拒绝遵循重定向并将拒绝索引该页面。

是的，这是我们这边的一个错误。 HTTP 规范要求服务器以相同的方式处理百分比编码和非百分比编码的未保留字符。但现在解决应用程序代码中的问题并不简单，因此我希望通过使用 Apache 重写规则来避免代码更改，该规则将确保从应用程序的角度“正确”编码 URL ，这意味着撇号、括号等都是百分比编码的，并且空格被编码为 + 而不是 %20。

这是一个示例，我想重写第一个并最终得到第二种形式：

• www.splunkbase.com/apps/All/4.x/Add-On/app:OPSEC+LEA+for+Check+Point+(Linux )
• www.splunkbase.com/apps/All/4.x/Add-On/app:OPSEC+LEA+for+Check+Point+%28Linux%29

这是另一个：

• www.splunkbase.com/apps/All/4.x /app:Benford's+Law+Fraud+Detection+Add-on
• www.splunkbase.com/apps/All/4.x/app:Benford%27s+Law+Fraud+Detection+Add-on

这是另一个：

• www.splunkbase。 com/apps/All/4.x/app:Benford%27s%20Law%20Fraud%20Detection%20Add-on
• www.splunkbase.com/apps/All/4.x/app:Benford%27s+Law+Fraud+Detection +附加组件

如果应用程序只看到这些网址的第二种形式，那么它不会发送任何重定向，Google 将能够索引该页面。

我是重写规则的新手，从我对 mod 的阅读中可以清楚地看出-rewrite 文档 mod_rewrite 会进行一些自动编码/解码，这可能有助于或损害我想做的事情，尽管不确定。

对于重写规则来处理上述情况有什么建议吗？我同意为每个特殊字符制定一条规则，因为它们的数量不多，但单个规则（如果可能）将是理想的。

Answer 1

该解决方案实际上可能相当简单，但由于使用了 B 标志。我不确定它是否正确地处理了每种情况（诚然，我有点怀疑它不会涉及比这更多的工作），但我相信源代码应该如此。

另请记住，mod_rewrite 转换不会更新 REQUEST_URI 的值，因此，如果您的应用程序依赖该值来确定请求的 URL，则您所做的更改无论如何都不会可见。

好消息是，这可以在 .htaccess 中完成，因此您可以选择保持主配置不变（如果这对您来说更有效）。

RewriteEngine On

# Make sure this is only done once to avoid escaping the escapes...
RewriteCond %{ENV:REDIRECT_STATUS} ^$
# Check if we have anything to bother escaping (likely unnecessary...)
RewriteCond $0 [^\w]+
# Rewrite the entire URL by escaping the backreference
RewriteRule ^.*$ $0 [B]

那么，为什么需要使用 B 标志而不是让 mod_rewrite 自动转义重写的 URL？当mod_rewrite自动转义URL时，它使用ap_escape_uri（显然由于某种原因已经变成ap_os_escape_path的宏......），一个转义有限子集的函数的字符。然而，B 标志使用名为 escape_uri 的内部模块函数，该函数以 PHP 的 urlencode 函数。

模块中 escape_uri 的实现建议字母数字字符和下划线保持原样，空格转换为 +，其他所有内容都转换为其转义的等效值。这似乎是您想要的行为，所以想必它应该有效。

如果没有，您可以选择设置外部程序 RewriteMap 可以将传入的 URL 处理为正确的格式。不过，这需要操作 Apache 配置，并且叛徒脚本可能会导致整个服务器出现问题，因此如果可以避免的话，我不认为它是一个理想的解决方案。

Answer 2

mod_rewrite 不是完成此类工作的最佳工具。因为使用 mod_rewrite 一次只能替换固定数量的出现次数。但这是可能的：

RewriteCond %{THE_REQUEST} ^[A-Z]+\ /([^?\ ]*)%20([^?\ ]*)
RewriteRule ^ /%1+%2 [R=301,NE]
RewriteCond %{THE_REQUEST} ^[A-Z]+\ /([^?'\ ]*)'([^?'\ ]*)
RewriteRule ^ /%1\%27%2 [R=301,NE]
RewriteCond %{THE_REQUEST} ^[A-Z]+\ /([^?(\ ]*)\(([^?(\ ]*)
RewriteRule ^ /%1\%28%2 [R=301,NE]
RewriteCond %{THE_REQUEST} ^[A-Z]+\ /([^?)\ ]*)\)([^?)\ ]*)
RewriteRule ^ /%1\%29%2 [R=301,NE]

这将一次替换一个 %20、'、( 或 )，并且以 301 重定向响应。因此，如果 URL 路径包含 10 个需要替换的字符，则需要 10 次重定向才能完成此操作。

由于这可能不是最好的解决方案，因此可以使用 N 标志 并且仅使用重定向进行最后一次外部替换：

RewriteCond %{THE_REQUEST} ^[A-Z]+\ /(([^?%\ ]|%(2[1-9a-fA-F]|[013-9][0-9a-fA-F]))*)%20(([^?%\ ]|%(2[1-9a-fA-F]|[013-9][0-9a-fA-F]))*%20[^?\ ]*)
RewriteRule ^ /%1+%4 [R=301,NE]
RewriteCond %{THE_REQUEST} ^[A-Z]+\ /([^?\ ]*)%20([^?\ ]*)[?\ ]
RewriteRule ^ /%1+%2 [R=301,NE]
RewriteCond %{THE_REQUEST} ^[A-Z]+\ /([^?'\ ]*)'([^?'\ ]*'[^?\ ]*)
RewriteRule ^ /%1\%27%2 [N,NE]
RewriteCond %{THE_REQUEST} ^[A-Z]+\ /([^?'\ ]*)'([^?'\ ]*)[?\ ]
RewriteRule ^ /%1\%27%2 [R=301,NE]
RewriteCond %{THE_REQUEST} ^[A-Z]+\ /([^?(\ ]*)\(([^?(\ ]*\([^?\ ]*)
RewriteRule ^ /%1\%28%2 [N,NE]
RewriteCond %{THE_REQUEST} ^[A-Z]+\ /([^?(\ ]*)\(([^?(\ ]*)[?\ ]
RewriteRule ^ /%1\%28%2 [R=301,NE]
RewriteCond %{THE_REQUEST} ^[A-Z]+\ /([^?)\ ]*)\)([^?)\ ]*\)[^?\ ]*)
RewriteRule ^ /%1\%29%2 [N,NE]
RewriteCond %{THE_REQUEST} ^[A-Z]+\ /([^?)\ ]*)\)([^?)\ ]*)[?\ ]
RewriteRule ^ /%1\%29%2 [R=301,NE]

但是使用 N 标志可能很危险，因为它不会增加内部递归计数器，因而很容易导致无限递归。