通用列表的标准差？

Question

我需要计算通用列表的标准差。我会尝试包含我的代码。它是一个包含数据的通用列表。数据主要是浮点数和整数。这是我的代码，与它相关，但没有详细介绍：

namespace ValveTesterInterface
{
    public class ValveDataResults
    {
        private List<ValveData> m_ValveResults;

        public ValveDataResults()
        {
            if (m_ValveResults == null)
            {
                m_ValveResults = new List<ValveData>();
            }
        }

        public void AddValveData(ValveData valve)
        {
            m_ValveResults.Add(valve);
        }

这是需要计算标准差的函数：

        public float LatchStdev()
        {

            float sumOfSqrs = 0;
            float meanValue = 0;
            foreach (ValveData value in m_ValveResults)
            {
                meanValue += value.LatchTime;
            }
            meanValue = (meanValue / m_ValveResults.Count) * 0.02f;

            for (int i = 0; i <= m_ValveResults.Count; i++) 
            {   
                sumOfSqrs += Math.Pow((m_ValveResults - meanValue), 2);  
            }
            return Math.Sqrt(sumOfSqrs /(m_ValveResults.Count - 1));

        }
    }
}

忽略 LatchStdev() 函数内部的内容，因为我确定它的值不对。这只是我计算标准偏差的糟糕尝试。我知道如何处理双精度列表，但不知道如何处理通用数据列表列表。如果有人有这方面的经验，请帮忙。

Answer 1

上面的示例稍有不正确，如果您的总体集为 1，则可能会出现除以零的错误。以下代码稍微简单一些，并给出“总体标准差”结果。 （http://en.wikipedia.org/wiki/Standard_deviation）

using System;
using System.Linq;
using System.Collections.Generic;

public static class Extend
{
    public static double StandardDeviation(this IEnumerable<double> values)
    {
        double avg = values.Average();
        return Math.Sqrt(values.Average(v=>Math.Pow(v-avg,2)));
    }
}

Answer 2

这篇文章应该对您有帮助。它创建一个计算双精度值序列偏差的函数。您所要做的就是提供一系列适当的数据元素。

结果函数是：

private double CalculateStandardDeviation(IEnumerable<double> values)
{   
  double standardDeviation = 0;

  if (values.Any()) 
  {      
     // Compute the average.     
     double avg = values.Average();

     // Perform the Sum of (value-avg)_2_2.      
     double sum = values.Sum(d => Math.Pow(d - avg, 2));

     // Put it all together.      
     standardDeviation = Math.Sqrt((sum) / (values.Count()-1));   
  }  

  return standardDeviation;
}

只要我们为正在计算的值提供一个选择器，这很容易适应任何泛型类型。 LINQ 对此非常有用，Select 函数允许您从自定义类型的通用列表中投影一系列数值来计算标准差：

List<ValveData> list = ...
var result = list.Select( v => (double)v.SomeField )
                 .CalculateStdDev();

Answer 3

尽管接受的答案在数学上看起来是正确的，但从编程的角度来看它是错误的 - 它枚举了相同的序列 4 次。如果底层对象是列表或数组，这可能没问题，但如果输入是过滤/聚合/等 linq 表达式，或者数据直接来自数据库或网络流，这将导致性能低得多。

我强烈建议不要重新发明轮子，而使用更好的开源数学库 Math.NET 之一。我们一直在我们公司使用该库，并且对其性能非常满意。

PM>安装包MathNet.Numerics

var populationStdDev = new List<double>(1d, 2d, 3d, 4d, 5d).PopulationStandardDeviation();

var sampleStdDev = new List<double>(2d, 3d, 4d).StandardDeviation();

请参阅 http://numerics.mathdotnet.com/docs/DescriptiveStatistics.html< /a> 了解更多信息。

最后，对于那些想要获得尽可能快的结果并牺牲一些精度的人，请阅读“一次性”算法 https://en.wikipedia.org/wiki/Standard_deviation#Rapid_calculation_methods

Answer 4

我看到你在做什么，我也使用类似的东西。在我看来，你走得还不够远。我倾向于将所有数据处理封装到一个类中，这样我就可以缓存计算的值，直到列表发生更改。
例如：

public class StatProcessor{
private list<double> _data; //this holds the current data
private _avg; //we cache average here
private _avgValid; //a flag to say weather we need to calculate the average or not
private _calcAvg(); //calculate the average of the list and cache in _avg, and set _avgValid
public double average{
     get{
     if(!_avgValid) //if we dont HAVE to calculate the average, skip it
        _calcAvg(); //if we do, go ahead, cache it, then set the flag.
     return _avg; //now _avg is garunteed to be good, so return it.
     }
}
...more stuff
Add(){
//add stuff to the list here, and reset the flag
}
}

您会注意到，使用此方法，只有第一个平均请求才实际计算平均值。之后，只要我们不从列表中添加（或删除或修改，但那些未显示的内容）任何内容，我们基本上就可以获得平均值。

此外，由于标准偏差算法中使用平均值，因此首先计算标准偏差将免费为我们提供平均值，并且首先计算平均值将为我们在标准偏差计算中带来一点性能提升，假设我们记得检查标志。

此外！像平均函数这样的地方，无论如何你已经循环遍历每个值，是缓存最小值和最大值之类的东西的好时机。当然，对此信息的请求需要首先检查它们是否已被缓存，与仅使用列表查找最大值相比，这可能会导致相对缓慢的速度，因为它完成了设置所有相关缓存的所有额外工作，而不仅仅是设置您访问的一个。