如何从专有CMS迁移资源?

发布于 2024-07-20 10:12:04 字数 233 浏览 5 评论 0原文

我需要从使用活动服务器页面的专有 CMS 迁移我们的网站。 是否有工具或技术可以帮助从现有站点下载资源? 我想我正在寻找一种可以抓取和抓取整个网站的工具。

另一个挑战是该站点使用 SSL 并受到基于表单的身份验证的保护。 我拥有必要的凭据,并且可以获取验证会话的 cookie,但我不确定从这里该去哪里,并且如果现有工具可以帮助我,我不想重新发明轮子。

编辑 - 我正在使用 Windows 操作系统

I need to migrate our website from a proprietary CMS that uses active server pages. Is there a tool or technique that will help download the resources from the existing site? I guess I'm looking for a tool that will crawl and scrape the entire site.

An additional challenge is that the site uses SSL and is protected with forms-based authentication. I have the necessary credentials and I can grab the cookie that validates the session but I'm not sure where to go from here and I don't want to reinvent the wheel if existing tools can help me.

EDIT - I'm using Windows OS

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(4

狼亦尘 2024-07-27 10:12:04

wget 可能是一个很好的工具,可以使用

wget --load-cookies cookies.txt --mirror --page-requisites http://example.com/

如果您希望使其更适合本地存档,而不是可以在某个地方重新上传的内容,那么

add --convert-links 。 wget 的 Windows 版本可从 sourceforge.net 上的 gnuwin32 项目获得
http://gnuwin32.sourceforge.net/packages/wget.htm

wget may be a good tool for you to use

wget --load-cookies cookies.txt --mirror --page-requisites http://example.com/

add --convert-links if you wish to make it more suitably for a local archive, rather than something you can re-upload somewhere.

A windows version of wget is available from the gnuwin32 project on sourceforge.net
http://gnuwin32.sourceforge.net/packages/wget.htm

烟酒忠诚 2024-07-27 10:12:04
wget --http-user:username --http-pass:password -r http://yoursite.com 

这将获取整个站点(递归)。 如果您使用的是 Windows,则需要安装 cygwin 或类似的东西来使用它,尽管我相信您可以下载 wget 的 Windows 版本/克隆。

wget --http-user:username --http-pass:password -r http://yoursite.com 

This will fetch the entire site (recursively). If you're on windows, you'll want to install cygwin or something similar to use it, though I believe there are windows versions/clones of wget that you can download.

樱花细雨 2024-07-27 10:12:04

如果您了解 Perl,您可能会喜欢 WWW::机械化。 取决于您想要实现的自动化水平 - wget 在某些情况下可能会做得很好。

If you know Perl, you might like WWW::Mechanize. Depends on the level of automation you are trying to achieve – wget would probably do just fine for some cases.

若无相欠,怎会相见 2024-07-27 10:12:04

你有很多选择。 需要考虑的一件事是身份验证的复杂程度。 除了wget之外,你还可以看看curl(一个非常强大的选项,可以绑定许多不同的语言),Python 的 urllib, Apache HttpClient、WWW-Mechanize 等。

You have a lot of options. One thing to consider is how complex the authentication is. Besides wget, you can look at curl (a very robust option with bindings for many different languages), Python's urllib, Apache HttpClient, WWW-Mechanize, etc.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文