加速内连接和子查询，同时限制行大小和表成员身份

Question

我正在开发一个 RSS feed 阅读器，它使用贝叶斯过滤器来过滤掉无聊的博客文章。

Stream 表旨在充当 FIFO 缓冲区，Web 应用程序将从中消耗“条目”。我用它来存储条目、用户和贝叶斯过滤器分类之间的临时关系。

用户将条目标记为已读后，它将被添加到元数据表中（以便用户不会看到他们已经阅读过的材料），并从流表中删除。每三分钟，后台进程将用新条目重新填充流表（即每当守护程序在检查 rss feed 更新后添加新条目时）。

问题：我提出的查询非常慢。更重要的是，Stream表一次只需要保存一百个未读条目；它将减少重复，使处理速度更快，并为我显示条目的方式提供一定的灵活性。

查询（在没有索引的 3600 个项目上花费大约 9 秒）：

insert into stream (entry_id, user_id) 
select entries.id, subscriptions_users.user_id 
 from entries 
inner join subscriptions_users on subscriptions_users.subscription_id = entries.subscription_id 
where subscriptions_users.user_id = 1 
  and entries.id not in (select entry_id 
                           from metadata 
                          where metadata.user_id = 1) 
  and entries.id not in (select entry_id 
                          from stream where user_id = 1);

查询解释：将用户订阅列表 (subscriptions_users) 中用户尚未读取的（即不存在于元数据中）且其中的所有条目插入到流中流中尚不存在。

尝试的解决方案：在末尾添加 limit 100 可以显着加快查询速度，但是在重复执行时，将继续添加表中尚不存在的不同的 100 个条目集（每个成功的查询花费的时间越来越长）。

这很接近，但不完全是我想做的。

有谁有任何建议（nosql？）或知道更有效的编写查询的方法？

Answer 1

使用：

INSERT INTO STREAM 
  (entry_id, user_id) 
   SELECT e.id, 
          su.user_id 
     FROM ENTRIES e
     JOIN SUBSCRIPTIONS_USERS su ON su.subscription_id = e.subscription_id 
                                AND su.user_id = 1 
LEFT JOIN METADATA md ON md.entry_id = e.id
                     AND md.user_id = 1
LEFT JOIN STREAM s ON s.entry_id = e.id
                  AND s.user_id = 1
    WHERE md.entry_id IS NULL
      AND s.entry_id IS NULL

在 MySQL 中，LEFT JOIN/IS NULL 是获取一个表中存在的数据而不是另一个表中存在的数据的最有效方法。参考文献link

在查看索引之前检查查询性能。

在 Postgres 中：

• NOT IN
• NOT EXISTS
• LEFT JOIN / IS NULL

...等效。

Answer 2

查询（大约需要 9 秒
3600 个没有索引的项目）：

然后我会尝试从一些索引开始...

或 LEFT JOIN NULL （和索引）

SELECT *
FROM TABLEA A LEFT JOIN
    TABLEB B ON A.ID = B. ID
WHERE B.ID IS NULL

Answer 3

优化选择的一种方法是用联接替换子查询。

类似于：

select entries.id, subscriptions_users.user_id
from entries 
inner join subscriptions_users on subscriptions_users.subscription_id = entries.subscription_id 
left join metadata  md on (user_id,entry_id)
left join stream  str on (user_id, entry_id) 
where subscriptions_users.user_id = 1 and where md.user_id is null and str.user_id is null;

您必须确保左连接的连接条件正确。我不确定你的确切架构是什么，所以我不能。

此外，添加索引也会有所帮助。