配置 Perl 脚本为非常大的网站自动生成 XML 站点地图

Question

我是一名 SEO，在一家航班预订公司工作。我们正在尝试为我们的网站安装 XML 站点地图。我要求公司的开发团队安装一个 Perl 脚本，该脚本将有助于为我们庞大的网站（超过 15 万页）生成 XML 站点地图。

为此，我们使用了 Google Perl 站点地图生成器，因为某些原因我们可以仅使用 Perl。输出文件有很多垃圾，因为它主要爬取静态页面和服务器文件夹中的其他内容（它基本上没有遵循从主页到站点的 URL，而是爬取服务器上的每个文件）。我不确定术语是否正确，但我想您会明白我的意思。

上面的链接中提到了配置选项，但是我们无法弄清楚使用哪些参数来获取理想的 XML 站点地图，而无需使用不必要的 URL。

任何人都可以帮助 Perl 脚本或如何配置它。

Answer 1

使用“wget”（镜像选项）复制站点并从中构建站点地图。

Answer 2

看这里，它有代码：
http://www.isrcomputing。 com/knowledge-base/linux-tips/240-how-to-create-google-sitemap-
使用-perl.html

Answer 3

也许我很天真，但是你不能对从根开始的所有链接进行 BFS 'http::get' ，解析出每个 a href 吗？

Perl 对此支持得很好。