Question

没有接受过统计学方面训练的人是出色的“直觉性统计学家”。我与阿莫斯在 20 世纪 70 年代早期的合作便始于对这个观点的讨论。他对我（在大学）的研究班及我本人讲过，密歇根大学的一些研究人员对直觉性统计抱有乐观态度。我个人对那个观点有种强烈的感觉：那段时间我发现自己并不是一个出色的直觉性统计学家，但是我也不相信别人会比我好多少。

对于一个研究型心理学家来说，样本变差没有什么特别的。它是个烦人且损失又大的麻烦事，会把每项实验都变成一场赌博。试想你希望证明 6 岁女孩的平均词汇量比同龄男孩的词汇量更丰富的假设。这个假设从整体来说是成立的，女孩的平均词汇量确实要比男孩的丰富一些。然而，尽管男孩与女孩差别很大，但你很可能会抽取到男女相差不太明显的样本，甚至会抽到一个男孩比女孩词汇测试成绩还要好的样本。如果你是那个研究者，这个结果对于你来说代价就太高了，因为它浪费了你的时间和精力，却无法证实一个实际正确的假设。使用一个足够大的样本是降低这种风险的唯一方法。选择小样本的研究者只能看自己是不是能选对合适的样本了。

想要对样本错误的风险作出评估，只需通过一个相当简单的步骤就可以实现。然而按照惯例来看，心理学家并不是通过计算来选定样本大小的。他们听从自己的判断，但这些判断往往是错的。在与阿莫斯发生意见分歧不久之前，我读过一篇文章，文章通过生动的观察结果展示了研究人员所犯的错误（他们现在仍在犯这种错误）。该文作者指出心理学家选择的样本通常都很小，致使他们有 50%的风险不能够证实其正确的假设，而任何研究人员都不会在头脑清醒的情况下接受这种风险。对此有一个貌似正确的解释，即心理学家对于样本大小的决定反映了他们普遍存在的一个直觉性错误观念，即对于样本变差范围的错误看法。

这篇文章令我十分震惊，因为我在自己的研究中碰到了一些问题，却在这篇文章中找到了相关解释。与大多数研究型心理学家一样，我也墨守成规地选择了一些过小的样本，因此得到的实验结果毫无意义。现在，我知道了原因：那些奇怪的结果实际上就是我这种研究方法的典型产物。我的错误特别令人尴尬，因为我教过统计学，也知道该怎样计算样本的大小，以便将风险降至可以接受的程度。但是，我从未通过计算来确定样本大小。和我的同事一样，我被传统所禁锢，相信自己设计实验的直觉，也从未认真考虑过样本选择会带来的那些风险。阿莫斯来参加研讨会时，我已经意识到自己的直觉是错误的。在研讨会中，我们很快达成共识—密歇根的那些乐观派是错误的。

我与阿莫斯开始调查一个问题：只有我自己这么愚蠢还是我只是众多愚蠢的人之一，我们通过一项测试来证实这个问题，测试对象为一些数学家，想看看这些人是否也会犯类似的错误。我们设计了一份调查问卷，其中描述了真实的研究情境，包括一些成功实验的复制。问卷要求研究人员选择样品大小，对其决定可能带来的失败风险进行评估，并为那些正在设计自己实验的研究生提供建议。在“数学心理学协会”的一次会议上，阿莫斯收集了一组资深受试者（包括两本经济学著作的作者）的反应。结果很明显：我并不是唯一一个愚蠢的人。大多数受试者都会犯和我一样的错误。显然，即使是专家，在选择样品大小时也无法充分集中注意力。

我和阿莫斯将我们合写的第一篇文章命名为“对小数定律的盲信”。我们半开玩笑地解释道，“对于随意取样的直觉似乎符合小数定律，由此可以断言大数法则对于小数定律同样适用”。在文章中，我们还收录了一个措辞有力的建议，即研究人员认为他们“对于统计直觉应抱有一些怀疑，只要条件允许，都应采用计算方法来确定样本规模，而不是依靠直觉印象作决定”。