使用 R 对分箱 GAM 结果进行均方根偏差

Question

背景

PostgreSQL 数据库使用 PL/R 调用 R 函数。用于计算 Spearman 相关性的 R 调用如下所示：

cor( rank(x), rank(y) )

同样在 R 中，拟合广义加性模型 (GAM) 的简单计算：

data.frame( x, fitted( gam( y ~ s(x) ) ) )

这里 x 表示从 1900 年到 2009 年的年份，y< /code> 是当年的平均测量值（例如最低温度）。

问题

（使用 GAM）相当准确，如下图所示：

拟合的趋势线 问题是相关性（如左下角所示）不能准确反映模型与数据的拟合程度。

可能的解决方案

提高相关性准确性的一种方法是对分箱数据使用均方根误差 (RMSE) 计算。

问题

Q.1. 您将如何对分箱数据实施 RMSE 计算，以获得 R 中 GAM 与测量值的拟合相关性（0 到 1 之间）语言？

Q.2是否有更好的方法来确定 GAM 对数据的拟合精度？如果有，它是什么（例如均方根偏差）？

尝试的解决方案 1

1. 使用观测量和模型 (GAM) 量调用 PL/R 函数：

   correlation_rmse := Climate.plr_corr_rmse( v_amount, v_model ); 

2. 定义 plr_corr_rmse 如下（其中 o 和 m 表示观察到的和建模的数据）：

   CREATE OR替换函数climate.plr_corr_rmse(
   o 双精度[], m 双精度[])
   返回双精度 AS
   $身体$
   sqrt( 平均值 ( o - m ) ^ 2 )
   $身体$
   语言 'plr' 易失性严格
   成本 100；
   

o - m 是错误的。我想通过计算每 5 个数据点（最多 110 个数据点）的平均值来对两个数据集进行分箱。例如：

omean <- c( mean(o[1:5]), mean(o[6:10]), ... )
mmean <- c( mean(m[1:5]), mean(m[6:10]), ... )

然后将 RMSE 计算更正为：

sqrt( mean( omean - mmean ) ^ 2 )

如何计算任意值的 c(mean(o[1:5]),mean(o[6:10]), ... )适当数量的箱中的长度向量（例如，对于仅 67 个测量值，5 可能并不理想）？

我认为 hist 不适合这里，是吗？

尝试的解决方案 2

以下代码将解决该问题，但它会从列表末尾删除数据点（以使列表可被 5 整除）。这个解决方案并不理想，因为数字“5”相当神奇。

while( length(o) %% 5 != 0 ) {
  o <- o[-length(o)]
}

omean <- apply( matrix(o, 5), 2, mean )

还有哪些其他选择？

提前致谢。

Answer 1

你说：

问题在于相关性（如左下角所示）无法准确反映模型与数据的拟合程度。

您可以计算拟合值和测量值之间的相关性：

cor(y,fitted(gam(y ~ s(x))))

我不明白为什么要对数据进行装箱，但您可以按如下方式进行操作：

mean.binned <- function(y,n = 5){
  apply(matrix(c(y,rep(NA,(n - (length(y) %% n)) %% n)),n),
        2,
        function(x)mean(x,na.rm = TRUE))
}

它看起来有点难看，但它应该处理长度不等于的向量分箱长度的倍数（即示例中的 5）。

你还说：

提高准确率的一种方法
相关性是使用根均值
平方误差 (RMSE) 计算
分箱数据。

我不明白你的意思。相关性是确定均方误差的一个因素 - 例如，请参见 Murphy（1988 年，每月天气评论，第 116 卷，第 2417-2424 页）。但请解释一下你的意思。