如何允许爬虫访问封闭（私人）wiki？

Question

我需要向爬虫程序提供对私人 wiki 的访问。

wiki 对所有匿名用户关闭 - 您必须登录才能查看内容，但我需要提供单个爬虫（由用户代理字符串和单个 IP 标识）完全访问权限，以便可以对内容建立索引。它是一个内部爬虫，因此只有在成功登录后才能访问其资源。

关于如何启用对单个客户端（而不是用户，因为爬虫无法将自己登录到维基）的访问有什么建议吗？

Answer 1

这个问题其实是有解决办法的。
正如我提到的，爬虫将使用特定的 IP，并且只有爬虫才能使用它。如此快速和肮脏但仍然是一种文明的做法是：

$crawler_ip = '1.2.3.4';
if ( $_SERVER['REMOTE_ADDR'] == $crawler_ip ) {
    $wgGroupPermissions['*']['read'] = true;
}

简单，是吧？ :)

Answer 2

如果您有权访问数据库，则可以使用 Solar 等系统中的数据库爬虫来为您执行此操作。

Answer 3

您可以为您的爬虫创建一个自定义用户组，假设我们将其称为“爬虫”。由于无论如何都必须登录，这将是最简单的解决方案。

只需授予它读取权限，如下所示：

$wgGroupPermissions['*']['read']    = false;
$wgGroupPermissions['crawler']['read']    = true;

参考：http://www.mediawiki.org/wiki /Manual:User_rights#Changing_group_permissions

编辑 嗯等等，我读错了。爬虫可能不是登录帐户，对吗？稍等一下，检查是否可以对IP 设置权限。