Googlebot

Googlebot

文章 1 浏览 311

Google 爬虫时间限制

有谁知道可以设置任何属性来通知 googlebot 在特定的日期或时间段(例如仅在周末)来抓取该网站? 谢谢,…

酒废 2024-07-26 05:11:39 13 0

检测行为良好/众所周知的机器人

我发现这个问题非常有趣:程序化机器人检测 我有一个非常相似的问题,但我并不担心“行为恶劣的机器人”。 我正在跟踪(除了谷歌分析之外)每次访问的…

空宴 2024-07-23 12:23:45 7 0

人们如何从 Google 缓存下载网站?

一位朋友不小心删除了他的论坛数据库。 这通常不会是一个大问题,除了他忽略执行备份这一事实。 2年的内容就这么消失了。 显然,他已经吸取了教训。 …

泛泛之交 2024-07-10 14:53:28 11 0

Googlebots 忽略 robots.txt?

Closed. This question is off-topic. It is not currently accepting answers. 想要改进此问题吗?更新问题,使其关于- Stack Overflow 的主题。 12…

辞别 2024-07-10 01:01:10 10 0

如何设置仅允许站点默认页面的robot.txt

假设我在 http://example.com 上有一个网站。 我真的很想让机器人看到主页,但任何其他页面都需要被阻止,因为它对蜘蛛来说毫无意义。 换句话说 http:…

浮世清欢 2024-07-04 22:14:03 16 0

如何使 Flex RIA 内容可供 Google 等搜索引擎访问?

您如何使 Flex RIA 应用程序的内容可供 Google 访问,以便 Google 可以对内容建立索引并显示指向 Flex RIA 中正确项目的链接。 考虑一个在 Flex 中创…

被翻牌 2024-07-04 20:23:57 16 0
更多

推荐作者

醉城メ夜风

文章 0 评论 0

远昼

文章 0 评论 0

平生欢

文章 0 评论 0

微凉

文章 0 评论 0

Honwey

文章 0 评论 0

qq_ikhFfg

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文