Cassandra Python驱动程序不获取结果的下一页

Question

Cassandra版本3.25.0的DataStax驱动程序， Python版本3.9

Session.execute（）获取前100个记录。根据文档，驾驶员应该 当我们到达第一页的末尾时，请详细获取接下来的页面。但是，它一次又一次地获取同一页面，因此，前100个记录都是可以访问的。

打印记录的循环无限。

ssl_context.verify_mode = CERT_NONE

cluster = Cluster(contact_points=[db_host], port=db_port,
                            auth_provider = PlainTextAuthProvider(db_user, db_pwd),
                            ssl_context=ssl_context
                            )
session = cluster.connect()

query = "SELECT * FROM content_usage"
statement = SimpleStatement(query, fetch_size=100)
results = session.execute(statement)

for row in results:
    print(f"{row}")

我可以看到其他类似的线程，但也没有得到回答。有人以前遇到过这个问题吗？任何帮助都将受到赞赏。

Answer 1

我对问题的初始陈述有点困惑。您提到结果的初始页面是反复获取的，这些是您程序可用的唯一结果。您还指出，运行程序时负责打印结果的FO循环变成无限循环。这些陈述对我来说似乎是矛盾的。如果您从未获得任何输出，您怎么知道驾驶员已经提取了什么？我假设这就是您的意思“无限” ...如果我错了，请纠正我。

以下代码似乎使用Cassandra 4.0.0使用Cassandra-Driver 3.25.0在Python 3.9.0上运行：

import argparse
import logging
import time

from cassandra.cluster import Cluster, SimpleStatement

def setupLogging():
    log = logging.getLogger()
    log.setLevel('DEBUG')

    handler = logging.StreamHandler()
    handler.setFormatter(logging.Formatter("%(asctime)s [%(levelname)s] %(name)s: %(message)s"))
    log.addHandler(handler)

def setupSchema(session):
    session.execute("""create keyspace if not exists "baz" with replication = {'class':'SimpleStrategy', 'replication_factor':1};""")
    session.execute("""create table if not exists baz.qux (run_ts bigint, idx int, uuid timeuuid, primary key (run_ts,idx))""")
    session.execute("""truncate baz.qux""")

if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument('-d','--debug', action='store_true')
    args = parser.parse_args()

    cluster = Cluster()
    session = cluster.connect()

    if args.debug:
        setupLogging()
    setupSchema(session)

    run_ts = int(time.time())
    insert_stmt = session.prepare("""insert into baz.qux (run_ts,idx,uuid) values (?,?,now())""")
    for idx in range(10000):
        session.execute(insert_stmt, [run_ts, idx])

    query = "select * from baz.qux"
    stmt = SimpleStatement(query, fetch_size=100)
    results = session.execute(stmt)

    for row in results:
        print(f"{row}")

    cluster.shutdown()

$ time (python foo.py | wc -l)
10000

real    0m12.452s
user    0m3.786s
sys     0m2.197s

您可以尝试使用启用调试日志记录的示例应用程序运行示例应用程序（有关如何启用此功能，请参见上面的示例代码）。听起来您的Cassandra配置（或您的客户端设置）可能会出现某些内容；额外的日志记录可能会帮助您确定（如果有的话）进入的方式。

Answer 2

以下是将驱动程序版本限制在3.20之后，最终对我有用的代码片段：

statement = session.prepare(query)
            
# Execute the query once and retrieve the first page of results
results = self.session.execute(statement, params)
for row in results.current_rows:
    process_row(row)
            
# Fetch more pages until they exhaust
while results.has_more_pages:
    page_state = results.paging_state
    results = session.execute(statement, parameters=params, paging_state=page_state)
    for row in results.current_rows:
        process_row(row)

Answer 3

代码中的逻辑仅是调用execute（）一次，因此结果的内容将永远是100行的同一列表。

您需要在循环中调用execute（）以获取类似结果的下一页：

query = "SELECT * FROM content_usage"
statement = SimpleStatement(query, fetch_size=100)

for row in session.execute(statement):
    process_row(row)

有关更多信息，请参见带有python驱动程序的页面。干杯!