限制清漆客户端等待时间，而不是后端时间

Question

我正在寻找一种解决方案来保证清漆的客户端响应时间，而不限制后端响应时间。

我有大约 100 个不同的资源（http://host/resource.js?id=1 等），它们在后端平均在一秒钟内完成计算。这些资源由清漆缓存，因此每个资源都可以同时提供给许多客户端。这些资源作为同步（页面阻塞）javascript 包含在内，因此应该快速提供响应（例如 3 秒）。因为我想保证客户端的响应时间，所以我想不出比将后端超时配置在这3秒更好的解决方案。 vcl 示例如下：

backend mybackend {
  .host = "127.0.0.1";
  .port = "8080";
  .connect_timeout = 100ms;
  .first_byte_timeout = 3s;
  .between_bytes_timeout = 3s;
  .probe = {
     .url = "/resource?id=1";
     .timeout = 3s;
     .window = 4;
     .threshold = 4;
     .interval = 15s;
   }
}

sub vcl_recv {
  set req.backend = mybackend;
  set req.grace = 5d;
  return (lookup);
}

sub vcl_fetch {
  set obj.ttl = 2m;
  set obj.grace = 5d;
  return (deliver);  
}

我的问题如下。在我停止后端 5 分钟并重新启动它之后（而 varnish 在宽限期内提供过时的数据），许多不同的资源（超出 TTL 但在宽限期内）会在后端同时获取。这会对数据库造成严重打击，3 秒内不会交付任何资源，也不会缓存任何内容。

我该如何避免这个问题？我想保证客户端响应时间但不限制后端响应时间。暂时可以接受失败（虚拟 javascript）。有什么办法可以随着时间的推移分散请求吗？ （过时的数据优先于错误）。

谢谢， 艾弗

Answer 1

最简单的解决方案之一是，在缓存某些资源之前不要让后端公开可用（服务器重新启动后设置一些超时，例如 10 分钟）。