根据请求的文件存在情况在 Varnish 后端之间进行选择的好方法

Question

我在上面安装了 Apache2、nginx 和 Varnish。 Varnish 接收请求，确定它的后端（静态转到 nginx，动态转到 Apache），从后端获取响应并在需要时缓存它。

Apache 还可以生成缩略图。它使用一些特定的逻辑创建缩略图，这对于处理器来说是相当昂贵的。因此，Apache 将缩略图保存到磁盘，以便下次收到该缩略图的请求时 Varnish 可以将其直接重定向到 nginx。

这里有一个问题： Varnish 无法检查文件是否存在于文件系统中的某个位置，这就是为什么它不知道是否可以使用 nginx 后端或者 Apache 应该首先生成缩略图。

我目前采用的解决方法非常简单但丑陋：

1. Varnish 接收缩略图请求；
2. Varnish向nginx发送请求；
3. 如果 nginx 找不到缩略图文件，它会回复 404 错误，并且 Varnish 将请求重定向到 Apache。

虽然这个算法看起来很简单，但实际上并非如此。 VCL 配置文件中需要进行以下实现：

1. 在 vcl_recv 中，始终假设缩略图存在，并且如果不是从某些特殊主机请求，则所有请求都必须重定向到 nginx；
2. 在 vcl_fetch 中捕获对象 HTTP 状态，如果它是 404 并且资源是缩略图，则将主机重写为特殊主机并重新启动进程：

VCL：

if( obj.status == 404 ) {
    if(req.url ~ "^thumb/") {
        set req.http.host = "thumb_generator.site.com";
        set req.url = regsub(req.url, "/thumb/(filename)", "thumb_gen.php?filename=\1");

        restart;
    }
}

也许有一些更好的方法来解决这个问题？我知道 Varnish 在 VCL 中支持 C，也许使用 C 代码检查文件是否存在更好？

Answer 1

好的，如果有人对解决方案感兴趣，我在 VCL 配置中找到了一个带有内联 C 的新解决方案。首先，我们必须添加一个函数来检查文件是否存在（在任何函数之外的文件顶部添加某个位置）：

C{
#include  <stdio.h>
#include  <stdlib.h>

int exists (char *fname)
{
    FILE *file;
    if (file = fopen(fname, "r"))
    {
        fclose(file);
        return 1;
    }

    return 0;
}
}C

我知道有更好的方法来检查文件是否存在，但主要标头不可用在 VCL 中：/

然后在 vcl_recv 子例程中添加以下代码：

C{
    if( exists("/local/file/path") == 1 ) {
        VRT_l_req_backend(sp, VCL_conf.director[1]);
    } else {
        VRT_l_req_backend(sp, VCL_conf.director[2]);
    }
}C

就像一个魅力一样。

Answer 2

你正在使用 Varnish 来做一些它不适合的事情。它确实无法检查文件是否存在，因为它最初并不是为文件提供服务的。 Varnish 只是暂时将后端响应缓存在文件或内存存储中。

在这个设置中你真的需要清漆吗？让 nginx 检查文件是否存在或者将其转发到您的处理器不是更有意义吗？

Answer 3

为什么不使用 Nginx 的 try_files 指令在 404 上静默地将请求代理到 Apache？至少对我来说，这似乎更合乎逻辑。

Answer 4

您可能会对 libvmod-utils 感兴趣。您将可以访问 WASD42 建议的内容，但直接使用 VMOD（更干净，并且应该应用最新的改进和建议）而不是内联 C。

Inline-C 很好，因为您可以做任何您需要的事情，但有时使用 VMOD 更干净，并且不会破坏您的 VCL 语言。

下面是 VCL 实现您的需求的示例：

import utils;

sub vcl_recv {
    if(req.url ~ "^/thumb/") {
        if (utils.exists("/srv/www/static/" + req.url)) {
            set req.backend = nginx;
        else {
            set bereq.url = regsub(req.url, "/thumb/(filename)", "thumb_gen.php?filename=\1");
            set req.backend = apache;
        }
    }
}