如何使每个查询中带有 LIMIT 的 SQL 查询结果不同？

Question

我有以下 SQL：

SELECT id, url 
FROM link 
WHERE visited = false  
ORDER BY id 
LIMIT 500; 

--*500 只是

我正在制作网络爬虫的一个示例，并且有一个带有链接的表。此 SQL 返回要访问的链接，但不是全部，仅返回 limit 子句中定义的数量。

我将使用线程，如果第一个执行此查询，它将获得前 500 个链接，如果第二个线程执行相同的查询，它将获得接下来的 500 个链接。换句话说，第一个线程获取链接1到500，第二个线程获取501到1000，第三个线程获取1001到1500，依此类推。

也许它不需要与线程一起工作，而是与运行相同应用程序的不同计算机一起工作。我不知道是否需要在表中创建一个字段来设置该行正在被另一个线程/应用程序使用，或者我只能使用 SQL/DBMS 来执行此操作。我正在使用 PostgreSQL。

换句话说，我需要锁定查询的行，以免出现在另一个查询中。

Answer 1

您尝试过更新/返回吗？

update link
set visiting = true
from (
    select id
    from link
    where visiting = false
    and visited = false
    limit 500
    for update
    ) as batch
where batch.id = link.id
returning *;

Answer 2

跳过 1500 行并获取接下来的 500 行

SELECT id, url 
FROM link 
WHERE visited = false  
ORDER BY id 
LIMIT 500 OFFSET 1500

http://www.postgresql.org /docs/8.3/interactive/queries-limit.html