如何下载雅虎网上论坛？

发布于 2024-07-15 10:44:18 字数 703 浏览 7 评论 0原文

我想下载一些雅虎群组（文件、照片、消息、成员列表），我找到了这些脚本：

我已经从 CPAN 下载了 ActivePerl 和所需的模块（没什么花哨的；它们很容易找到）。我已经成功安装了它们，但是当我运行脚本时，我在它告诉我已成功登录后收到错误： “在 yahoogroups_files.pl 第 244 行第 2 行的模式匹配 (m//) 中使用未初始化值 $cells。”

我猜测雅虎更改了页面布局或其他内容，但我无法自己更新脚本。对于 Perl 和了解 Yahoo 生成页面的方式，我是一个新手，我只知道一些基本的 C++。我想说的是，我并不懒惰，我会尝试自己修复它，但我需要你的帮助：提示、建议，任何事情。

PS：我已经联系了作者，但他不愿意更新脚本。

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

巷子口的你 2024-07-22 10:44:18

您需要以下领域的知识：

使用 html 解析器
http 知识 ( get/post/head )
网页抓取

我建议你关注 WWW::Mechanize 因为它能够完成所有这些事情（以及更多）

编辑：另一个解决方案（不需要编程）是这样的：使用浏览器登录雅虎组，存储 cookie，然后运行 wget ，传递存储 cookie 作为参数。这样你就能很快完成任务。

在硬盘上找到浏览器的 cookies.txt 文件，然后像这样调用 wget （如果我没记错命令的话）：

wget --load-cookies path_to_cookie_file -r -w 60 website

可以找到完整的手册页此处

编辑2：另一种选择是使用 WebDriver 自动化 Firefox。您可以使用这篇文章作为如何实现这一目标的指南。

You would need knowledge in the following fields:

use of an html parser
http knowledge ( get/post/head )
web scraping

I suggest you focus on WWW::Mechanize since it's capable of all these things ( and more )

EDIT: another solution ( that doesn't need programming ) , is this: login with your browser on yahoo groups, store the cookie, and then run wget , passing the stored cookie as a parameter. This way you'll get the task accomplished very fast.

Find your browser's cookies.txt file on your harddrive, and then call wget like this ( if I remember the commands correctly ) :

wget --load-cookies path_to_cookie_file -r -w 60 website

The full man page can be found here

EDIT2: Another option is to use WebDriver to automate firefox. You can use this article as a guide on how to accomplish this.

回复收藏 0 原文

萌梦深 2024-07-22 10:44:18

根据文件名，我假设您正在使用此处找到的雅虎组存档器： http://sourceforge.net/ items/grabyahoogroup/

我针对 SubEthaEdit 组运行了文件脚本，效果很好。所有文件均顺利下载。

查看代码，如果 $cells 为空，则在 while 循环中处理 html 表时似乎会呕吐。

考虑到代码在我测试时确实有效，该组文件的列表可能出现问题。您需要尝试输出 $content 并找出 243 上的正则表达式无法处理该 html 的位置和原因。

编辑：如果您不介意发布小组，我相信我自己或这里的其他人可以尝试并自行排除故障。当问题无法重复时，很难确定到底发生了什么。另外，尝试一下我所做的同一组，看看它是否适合你。如果可行的话，当然与您正在尝试的团队有关。

回复收藏 0 原文

能怎样 2024-07-22 10:44:18

不知道它是否会对您有帮助，但这就是我为使消息下载工作所做的事情：（

http://sourceforge.net/forum/forum.php?thread_id=3283915&forum_id=209170

我只使用消息下载，我没有查看文件下载）

Dunno if it will help you, but here's what I did to get the message-download working:

http://sourceforge.net/forum/forum.php?thread_id=3283915&forum_id=209170

(I only used message-download, I didn't look at file-download)

回复收藏 0 原文

晨光如昨 2024-07-22 10:44:18

不久前正在修补这个问题，以备份我女朋友在大学的群组消息和文件。在对最新脚本进行调试后，我发现 group_domain 声明似乎存在错误（我在 yahoo2maildir.pl 上发现了一个组声明错误） > 同一个项目，请参阅 $request）

($group_domain) = $url =~ /\/\/(.*?groups.yahoo.com)\//;

在这种情况下，我已经用 sub download_folder() 函数覆盖了 $request var

from <br>
$request = GET "http://$group_domain/group/$group/files$sub_folder/";
<br> to <br>
$request = GET "http://**groups.yahoo.com/group/$user_group**/files$sub_folder/";

Was tinkering on this a while ago to backup my girlfriend's group messages and files from uni. Upon debugging on the latest scripts I've found out that there seems to be a bug on group_domain declaration (theres also a group declaration bug that i've found on yahoo2maildir.pl of the same project, see $request)

($group_domain) = $url =~ /\/\/(.*?groups.yahoo.com)\//;

in this case, i've overwritten the $request var under the function sub download_folder() with

from <br>
$request = GET "http://$group_domain/group/$group/files$sub_folder/";
<br> to <br>
$request = GET "http://**groups.yahoo.com/group/$user_group**/files$sub_folder/";

回复收藏 0 原文