有效删除包含空值的行

Question

对于包含许多行的表，删除包含任何空值的行的最有效方法是什么？

另外，为什么我会收到错误

错误：'时间（尝试使用变量时间而不先定义/分配，

即使我在使用功能选择

时没有任何名为'时间'的内容？[ t;{(not;(null;x))} 每个 cols t; ()]

在 这个 S/O 答案？

Answer 1

您的表是在内存中还是在磁盘上？

如果您的表位于内存中，那么简单的表单也可能是最快的。

show t:flip`a`b`c`d`e!(1+til 100)*/:100 cut 500?(1 0N)where 19 1
a  b  c  d  e
--------------
1  1     1  1
2  2  2  2  2
3  3  3  3  3
4  4  4  4  4
5  5  5  5  5
6  6  6  6  6
7  7  7  7  7
8  8  8  8  8
9  9  9  9  9
10 10 10 10 10
11 11 11 11 11
12 12 12 12 12
13    13 13 13
14 14 14 14 14
15 15 15 15 15
16 16    16 16
   17 17 17 17
18 18 18 18 18
..

q)\ts:1000 ?[t;{(not;(null;x))}each cols t;0b;()]
5 7552
q)\ts:1000 t where not any null flip t
2 6768

如果表格在磁盘上展开，游戏就会改变。在展开表中，每一列都存储为一个文件。 Select 运算符的第二个参数是约束列表；每一个都是一棵解析树。上面的 null Flip t 会测试 t 的每个单元格，而 Select 会连续应用约束：仅测试已通过先前约束的行以进行下一个约束。如果没有行满足第一个约束，则可能根本不需要读取后续列文件。

由此遵循以下规则：按限制性降序列出约束 - 如果空值在某些列中更常见，请首先测试它们。

关于内存中测试，请注意，not any 可能比 all not 快很多，具体取决于 null 是否常见。

q)q:null flip t
q)\ts:10000 all not q
9 1168
q)\ts:10000 not any q
6 656