计算每个最小网络块的记录数（间隔）

Question

在 SQL (postgresql 8.4.x) 中，如何有效地COUNT落入可能包含网络块的最小网络块内的 IP 记录数量？例如，我不想将 10.0.0.1 计入 10/8 和 0/0 下。

更具体地说，给出：

-- CREATE TABLE iplog (ip INET NOT NULL, ...)
--
      ip      | ...
==============+=====
192.168.1.100 | ...
192.168.1.101 | ...
192.168.55.5  | ...
10.1.2.3      | ...

-- CREATE TABLE netblocks (nb CIDR UNIQUE NOT NULL, ...)
--
       nb      | ...
===============+======
192.168.1.0/24 | ...
192.168.0.0/16 | ...
10.0.0.0/8     | ...
0.0.0.0/0      | ...

如何有效地生成结果集：

       nb      | ips_logged
===============+============
192.168.1.0/24 | 2
192.168.0.0/16 | 1
10.0.0.0/8     | 1

Answer 1

这对我在 8.3 上有效 - 在 8.4 上也应该没问题。我们需要一个自定义聚合，因为 max(cidr) 不是内置的（即使 > 是）

create or replace function greatest_pair(cidr, cidr) 
                  returns cidr
                  language 'sql' immutable as 
$select greatest($1, $2);$;

create aggregate max( basetype = cidr, 
                      sfunc = greatest_pair, 
                      stype = cidr );

select max_nb, count(*)
from ( select ip, max(nb) as max_nb 
       from netblocks n join iplog i on(i.ip << n.nb)
       group by ip ) z
group by max_nb;

     max_nb     | count
----------------+-------
 192.168.1.0/24 |     2
 10.0.0.0/8     |     1
 192.168.0.0/16 |     1

如果您不想要自定义聚合，您可以这样做：

create or replace view v as
select ip, nb from netblocks n join iplog i on(i.ip << n.nb);

select nb, count(*)
from ( select * 
       from v o 
       where not exists ( select * 
                          from v i 
                          where i.ip=o.ip and i.nb>o.nb ) ) z
group by nb;

或类似的使用 with 子句，并且在 8.4 上没有视图，但问题说有效 :-)

使用这些视图进行测试：

create or replace view iplog as
select '192.168.1.100'::inet as ip union all
select '192.168.1.101'::inet union all
select '192.168.55.5'::inet union all
select '10.1.2.3'::inet;

create or replace view netblocks as
select '192.168.1.0/24'::cidr as nb union all
select '192.168.0.0/16'::cidr union all
select '10.0.0.0/8'::cidr union all
select '0.0.0.0/0'::cidr;

Answer 2

由于 IPv4 地址本质上是 4 个字节，因此它们可以表示为整数。您可以制作一个包含 netblock_start 和 netblock_end 的表（例如 192.168.1.0/24 将是 192.168.1.0 到 192.168.1.255，分别是 3232235776 到 3232235776），然后计算 ip >= netblock_start && ip <= netblock_end （日志中的 IP 需要转换为相同的格式才能正常工作）。

Answer 3

@JackPDouglas的答案非常出色。为了完整起见，这是我突然想到的天真的方法：

  SELECT nb, COUNT('X')
    FROM netblocks
    JOIN iplog
      ON ip << nb
         AND
         nb = (  SELECT nb
                   FROM netblocks
                  WHERE ip << nb
               ORDER BY nb DESC
                  LIMIT 1)
GROUP BY 1;

       nb       | count 
----------------+-------
 192.168.1.0/24 |     3
 192.168.0.0/16 |     1
 10.0.0.0/8     |     1
(3 rows)