如何在 Django 中处理网络爬虫？

Question

由于网络爬虫在没有任何请求数据的情况下访问了我网站的某些部分，我的电子邮件中收到了很多错误，我想知道在 Django 中处理网络爬虫的最佳方法是什么？当我遇到空的 QueryDict 时，我应该发出重定向吗？

Answer 1

您可以考虑实施 robots.txt 来禁止抓取工具访问您网站上的目标区域仅限于人类，例如形式。

Answer 2

我认为您的视图应该适用于任何请求，在列表返回页面上显示消息“错误的请求”。 500 太丑了您确定用户不会在没有任何请求数据的情况下打开页面吗？ QueryDict 的“get”方法可以帮助设置默认值。

Answer 3

行为良好的爬虫应该只执行 GET 请求。表单不应该是 GET 请求。

Ruby 和 Rails 使用 CRUD 映射

Create -> POST,
READ -> GET, 
Update -> PUT, 
Delete -> DELETE

只有没有附加信息的东西才应该是 GET 请求。