ultraseek - 文江博客

ultraseek

ultraseek

文章 0 浏览 3

Robots.txt 禁止所有内容并仅允许网站/页面的特定部分。是“允许”吗？ Ultraseek 和 FAST 等爬虫支持吗？

只是想知道是否可以禁止整个网站的爬虫程序而只允许特定的网页或部分？ FAST 和 Ultraseek 等爬虫程序是否支持“允许”？…

如日中天 2024-07-11 00:36:07 10 0

共 1 页
1

热门标签

操作系统程序设计 IT运维 Linux系统管理 JavaScript 服务器应用 solaris C/C++ PHP Shell BSD Vue.js aix Oracle Python HTML 系统管理 HTML5 CSS 前端

推荐作者

娇女薄笑

文章 0 评论 0

biaggi

文章 0 评论 0

xiaolangfanhua

文章 0 评论 0

rivulet

文章 0 评论 0

我三岁

文章 0 评论 0

薆情海

文章 0 评论 0

友情链接

我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的隐私政策了解更多相关信息。单击 接受 或继续使用网站，即表示您同意使用 Cookies 和您的相关数据。

原文