App引擎中的记录器实体

Question

在应用程序引擎中使用记录器实体来写入日志是否可行？我将有一个大约 1500req/sec 的应用程序，并且正在考虑使用任务队列来完成它。每当我收到请求时，我都会创建一个任务并将其放入队列中以向日志实体写入内容（具有日期和字符串属性）。

我需要这个，因为我必须将统计数据放入网站中，我认为这样做并稍后使用后端读取日志可以解决问题。如果我能够以编程方式访问应用程序引擎日志（通过日志记录），那就太棒了，但由于这是不可用的，我看不到任何其他方法可以做到这一点。

非常欢迎反馈

Answer 1

有几种方法可以做到这一点：

1. 累积日志并将其写入请求末尾的单个数据存储中。这是延迟最高的选项，但只有一点点 - 数据存储放置相当快。该解决方案也是所有选项中消耗最少资源的。
2. 累积日志并使用它们将任务队列任务排入队列，这会将它们写入数据存储（或对它们执行任何您想要的操作）。这稍微快一些（任务队列排队往往很快），但稍微复杂一些，并且数据限制为 100kb（希望这不应该成为限制）。
3. 将数据放入拉取任务队列，并让常规推送任务或后端使用队列并批量插入到数据存储中。这比选项 2 更复杂，但也更高效。
4. 运行一个累积和写入日志的后端，并对其进行 URLFetch 调用以存储日志。 urlfetch 处理程序可以将数据写入后端内存并异步返回，这在增加用户延迟方面是最快的（urlfetch 调用不到 1 毫秒）！不过，这需要等待 Python 2.7，因为您需要多线程来异步处理日志条目。

您可能还想查看 Prospective Search API，它可以让您对日志数据进行一些过滤和预处理。

Answer 2

如何保留请求信息的 Memcache 数据结构（在请求到达时进行记录），然后每 5 分钟（或更快）运行一次 cron 作业，该作业处理来自 memcache 的最后 5 分钟请求的统计信息，并将这些统计信息记录在该 5 分钟间隔的数据存储。然后，相同（或不同）的 cron 作业也可以清除内存缓存 - 这样它就不会变得太大。

然后，您可以根据 5 分钟间隔统计数据的聚合运行全局分析，这可能比分析数小时的 1500req/s 数据更易于管理。