科学数据处理（图形比较和解释）

Question

我正在尝试编写一个程序来自动执行一项比较无聊和重复的工作任务。我有一些编程经验，但没有处理或解释大量数据的经验，因此我正在寻求您的建议（既包括要尝试的技术建议，也包括要阅读的内容以了解有关执行此操作的更多信息）。

我有一台设备，可以通过重复采样来监控实验，并将读数以图表形式显示在屏幕上。实验的输入可以改变，其中一个变化应该会导致我目前通过眼睛识别的图表部分发生变化，这就是我在实验中寻找的内容。我想将其自动化，以便计算机查看一组结果并发现导致变化的实验输入。

我已经可以从机器中提取结果了。目前，它们的运行结果采用整数数组的形式，索引是样本编号，相应的值是测量值。

每次实验运行的图表的整体形状都是相似的。我正在寻找的变化将大致相同，并且每次为了正确的实验输入都会发生在大致相同的位置。不幸的是，有一些问题使这个问题变得更加困难。

1. 测量过程中存在一些噪音，这意味着不同运行之间的测量值存在一些随机变化。尽管图表的整体形状保持不变。

2. 每次运行实验所需的时间都会略有不同，从而导致两种影响。首先，整个图可能在 x 轴上相对于另一次运行的图略有移动。其次，在不同的运行中，各个特征可能会显得稍微更宽或更窄。

在这两种情况下，变化都不是特别大，您可以假设唯一的非随机变化是由找到的正确输入引起的。

Answer 1

我认为您正在寻找有关数字信号处理的信息。它的范围可以从非常简单到非常难以理解。比如说，如果您的事件前信号为 0，而相关信号之后的每个信号均为 1，您只需查找第一个 1，找出它发生的时间，然后就完成了。这基本上是简单性的极限情况，它可能是一个很好的起点。实现这一点，你就开始知道如何回答你的问题了。那么现在，你就有噪音了。因此，比如说，事件前的范围可能是 -10 到 10，事件后的范围可能是 90 到 110。仍然很简单；注意第一个大于 10 的值。但当然事情从来没有那么简单。您可能必须对读数窗口进行平均，可能会寻找与先前测量相比的某些变化阈值等。在高级情况下，您可能会发现自己使用到其他空间的转换、应用过滤器、模式匹配等。但从你的描述来看，听起来相当简单的方法应该可以为你完成这项工作。不要被诸如 FFT 这样的概念吓到 - 您可能还不需要它们。至少现在，假设它可以简单地解决。从一个非常简单（但不够）的解决方案开始，然后逐步找到可行的解决方案。

Answer 2

如果 Carl 建议的那种过滤和阈值方法还不够，则值得研究的一种技术是 互相关。其本质非常简单：如果两个数据集相当相似，当它们对齐时它们的点积将最大化（因为最高的值将相乘）。因此，您可以通过在每个偏移处计算此乘积并选择给出最高结果的乘积来很好地估计如何排列它们。

在像您这样的情况下，我们的想法是拥有您正在寻找的曲线形状的“理想”版本——要么通过理论/模拟生成，要么通过对由以下方法识别和对齐的许多良好实验曲线的结果进行平均生成眼睛——并将其与实验数据进行比较。

为简单起见，我们假设数据集比理想数据集长，并且两端都有足够的空白空间，因此我们可以忽略任何边界问题。由于您正在寻找一个特定事件，因此减少您的理想以符合这一假设应该是微不足道的。如果用 Java 进行粗略编码，该过程可能会是这样的：

int offset ( double[] data, double[] ideal )
{
    double cMax = -Double.MAX_VALUE;
    int tMax = 0;

    for ( int t = 0; t < data.length - ideal.length; ++t )
    {
        double c = 0;
        for ( int i = 0; i < ideal.length; ++i )
        {
            c += data[t + i] * ideal[i];
        }

        if ( c > cMax )
        {
            cMax = c;
            tMax = t;
        }
    }

    return tMax;
 }

显然，在很多情况下这种方法可能会失败，特别是如果存在大量非独立噪声，或者信号中存在周期性，引起别名。此外，此示例丢弃了大量信息，只关注绝对最大值，如果互相关中没有大而窄的峰值，则可能容易出错。但从你的描述来看，你的问题似乎可以通过这些方式解决。