如何在DolphinDB database中更快地获取最新状态数据

Question

我的应用场景是每600毫秒一次从1000个设备收集数据，然后将其写入分布式数据库。需要实时数据查询以查询每个设备的最新状态数据。

def createDatabase(dbName){
    tableSchema = table(100:0,`id`ts`tag01`tag02`tag03 ,[INT,TIMESTAMP, FLOAT,DOUBLE,LONG])
    db1 = database("",VALUE,2019.01.01..2020.12.31)
    db2 = database("",RANGE,0..30*10)
    db = database(dbName,COMPO,[db1,db2])
    dfsTable = db.createPartitionedTable(tableSchema,"readings",`ts`id)
}
createDatabase("dfs://devDB")

我使用以下语句查询，

select  last(ts),last(tag0001),last(tag0002),last(tag0003)
from loadTable('dfs://devDB', 'readings') where ts >datetimeAdd(now(),-1,`h)  group by id

这样可以找到最新的数据，但是我发现随着表中数据的增加，每个查询所花费的时间会逐渐增加。是否有任何方法可以加快查询速度？

Answer 1

DolphinDB 提供了快照引擎（Snapshot Engine）以快速获取任意设备任意指标的最新状态。尽管数据库会对最新或最频繁使用的数据进行缓存，但这不是百分之百保证的。快照引擎则会把所有设备采集的实时数据更新到哈希表，查询时可以快速返回结果。一旦客户为数据表设置了快照引擎，写入和查询对用户都是透明的，无需额外的工作即可以非常小的内存代价获取优异的响应速度。

注册、查询快照引擎的语法如下：

registerSnapshotEngine(dbName, tableName, keyColumnName)
select [HINT_SNAPSHOT] * from loadTable(dbName, tableName)