用铁轨进行刮擦的耙子任务

发布于 2024-10-07 08:04:06 字数 455 浏览 0 评论 0原文

我开始编写抓取工具来从不同的网站获取数据。我在 rake 文件中构建了第一个抓取工具，现在开始编写第二个 rake 文件以从第二个站点获取数据。目前，我正在为我感兴趣的每个网站编写一个特定的抓取工具（而不是尝试构建通用抓取工具）。

我有 3 个问题：

编写 Rake 任务对我来说是一个不错的选择吗？我应该考虑其他选择吗？
如何将函数/方法添加到我的 rake 文件中？（抱歉，非常愚蠢的问题，但我不知道如何构建我的代码......所以现在它只是一个长方法中的 500 行不间断代码）例如，我想要一个“get_description(section) " 从页面返回描述的方法。该方法可能会有所不同，具体取决于我要抓取的网站。
如何使用 RSpec 测试我的任务？我想提供一个链接并确保我的任务输出与我期望得到的结果相符

感谢您的帮助！

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

一指流沙 2024-10-14 08:04:06

作为一般原则，rake 任务应该非常少。将实际行为参考真实的类。然后可以轻松测试这些类。

示例：

task :scrape do
  Scraper.scrape!
end

class Scraper
   def self.scrape!
     # do something
   end
end

describe Scraper do
  # your tests
end

正如 @brad 所指出的，您可以使用 thor，它本身具有常规的类结构，因此理论上应该更容易测试任务本身。不过我还没有这样做。

你可以在 rake 中定义方法，但我不知道它们最终会在哪里。你不应该这样做，所以别打扰。保持任务主体最小化，编写普通代码来完成肮脏的工作。

As a general principle, rake tasks should be very minimal. Refer the actual behavior to real classes. These classes can then be easily tested.

Example:

task :scrape do
  Scraper.scrape!
end

class Scraper
   def self.scrape!
     # do something
   end
end

describe Scraper do
  # your tests
end

You could, as @brad indicated, use thor, which has a regular class structure by itself, so in theory it should be easier to test the tasks themselves. I haven't done that though.

You can define methods in rake, but I don't know where they end up. You shouldn't do that, so don't bother. Keep task bodies minimal, write normal code to do the dirty work.

回复收藏 0 原文

蓝海 2024-10-14 08:04:06

当然，如果你想使用 rake 也可以，你还可以查看 thor ，它使用更多标准的类似 ruby 的语法，而不是 dsl rake 为您提供的。
Rake 只是另一个 ruby 库，因此您可以在其中包含您喜欢的任何内容。因此，您可以编写自己的库并将其加载到您的 rake 文件中。了解 Bundler 如何实现实例。他们刚刚定义了自己的类，然后在其中创建了任务。顺便说一句，它使用了 thor，从我收集到的信息来看，它以某种方式将这些任务代理到 rake 上，但还没有真正彻底地研究过它，所以我可能是错的。
您在自己的库中定义内容，只需像通常用于任何其他项目一样使用 rspec，然后使用任何方式将该库挂接到 rake 或 thor 中，然后您就可以参加比赛了