警告消息：“在 cor(...) 中：标准偏差为零”

Question

我有一个流数据向量（29 个数据）和一个 3D 矩阵数据（360*180*29），

我想找到单个向量和 3D 向量之间的相关性。相关矩阵的大小为 360*180。

> str(ScottsCk_flow_1981_2010_JJA)
 num [1:29] 0.151 0.644 0.996 0.658 1.702 ...
> str(ssta_winter)
 num [1:360, 1:180, 1:29] NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN ...
> summary(ssta_winter)
    Min.  1st Qu.   Median     Mean  3rd Qu.     Max.     NA's 
    -2.8     -0.2      0.1      0.2      0.6      6.0 596849.0 

以上是向量和3D矩阵的结构。 3D 矩阵有很多空值。

> for (i in 1:360) {
+   for(j in 1:180){
+       cor_ScottsCk_SF_SST_JJA[i,j] = cor(ScottsCk_flow_1981_2010_JJA,ssta_winter[i,j,]) 
+    }
+ }
There were 50 or more warnings (use warnings() to see the first 50)

上面这部分代码就是寻找相关性的代码。但它

> warnings()
Warning messages:
1: In cor(ScottsCk_flow_1981_2010_JJA, ssta_winter[i, j,  ... :
  the standard deviation is zero
2: In cor(ScottsCk_flow_1981_2010_JJA, ssta_winter[i, j,  ... :
  the standard deviation is zero
3: In cor(ScottsCk_flow_1981_2010_JJA, ssta_winter[i, j,  ... :
  the standard deviation is zero
4: In cor(ScottsCk_flow_1981_2010_JJA, ssta_winter[i, j,  ... :
  the standard deviation is zero
5: In cor(ScottsCk_flow_1981_2010_JJA, ssta_winter[i, j,  ... :
  the standard deviation is zero

也给出了警告，相关矩阵的结果都是 NULL。这是怎么发生的？

> str(cor_ScottsCk_SF_SST_JJA)
 num [1:360, 1:180] NA NA NA NA NA NA NA NA NA NA ...

我使用了完全相同的代码 bfr 和 350 流向量和 360*180*350 矩阵。 这段代码完美运行。

Answer 1

一些想法。

首先，通过使用 apply()，您可以将嵌套循环替换为如下所示：

cor_ScottsCk_SF_SST_JJA <- 
    apply(ssta_winter, MARGIN = 1:2, FUN = cor, ScottsCk_flow_1981_2010_JJA)

其次，看起来 >31% (596849/(360*180*29) ssta_winter 中的点的 (code>) 为 NaN 或（可能）NA_real_。考虑到在包含单个 NaN 的向量上计算的相关性的返回值，

cor(c(1:3, NaN), c(1:4))
# [1] NA

所有这些 NaN 是否都可能导致 cor_ScottsCk_SF_SST_JJA 填充NA？

第三，正如警告消息清楚地告诉您的那样，您传递给 cor() 的某些向量的方差为零。它们与 NaN 无关：如下所示，当涉及 NaN 时，R 不会抱怨标准差为 0。 （这也是非常明智的，因为您无法计算未定义数字的标准差）：

cor(c(NaN, NaN, NaN, NaN), c(1,1,1,1))
# [1] NA

cor(c(1,1,1,1), c(1,2,3,4))
# [1] NA
# Warning message:
# In cor(c(1, 1, 1, 1), c(1, 2, 3, 4)) : the standard deviation is zero

Answer 2

如果某一列的所有观测值都具有相同的值，也可能会显示此错误。因此，您可能想要删除这些行。

Answer 3

以下使用 library("psych")

partial.r(sd,c("GPA","SAT"),"GRADE1",use = "complete.obs")
Warning Message:
 In cor(data, use = use, method = method) : the standard deviation is zero

sd 包含 SAT 的 NA。

partial.r(subset,c("GPA","SAT"),"GRADE1", use = "complete.obs")
no warnings

子集已删除 NA

Answer 4

如果您的数据对于其存储格式来说太大，也可能会出现此警告。例如，如果您有数万亿的数据（也许是 GDP）并且数据存储为 32 位整数， R 可能会将它们识别为数字，即使它无法使用该格式的数据进行计算（这就是为什么它认为标准差为 0，即使您的所有值都不同）。

如果是这种情况，当您查看数据并将鼠标悬停在列标题上时，您可能会看到类似“X 列：范围未定义的数字 - 未定义”之类的消息。

在这种情况下，除以一个常数（例如 1,000,000）来减小值的大小可以解决该问题。

Answer 5

这样的解决方案可能有效

x <- rep(1, 5)    
y <- 1:5   

if(sd(x) == 0){
  print("denem")
  x[1] <- x[1] * .99
}
cor(x,y)