如何抓取网络并获取包含某些关键字的网站列表

发布于 2024-10-10 00:07:34 字数 92 浏览 0 评论 0原文

我需要扫描整个网络并获取字典中包含某些关键字的网站的链接。

我需要从网络上动态获取 URL 和其他内容。任何人都可以建议我可以为我完成此任务的程序或工具。

I am in need to scan through the entire web and get the links of the sites that have some keywords in my dictionary.

I need to get the URL's and others dynamically fetched from the web. Can anyone suggest me the procedure or the tool that can accomplish this for me.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

但可醉心 2024-10-17 00:07:34

检查这个:-

  • Lucene/apache Solr 用于索引。
  • Perl LWP 模块 LWP

Check with this:-

  • Lucene/apache Solr for indexing.
  • Perl LWP module LWP
~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文