计算函数合理性的算法/蒙特卡罗方法

Question

我正在编写一个程序，尝试复制本文开头讨论的算法，

http： //www-stat.stanford.edu/~cgates/PERSI/papers/MCMCRev.pdf

F 是一个从 char 到 char 的函数。假设 Pl(f) 是该函数的“合理性”度量。该算法是：

从对函数（例如 f）的初步猜测开始，然后是新函数 f* -

• 计算 Pl(f)。
• 通过对 f 分配给两个符号的值进行随机转置来更改为 f*。
• 计算 Pl(f*)；如果大于 Pl(f)，则接受 f*。
• 如果没有，则抛一枚 Pl(f)/Pl(f*) 硬币；如果出现正面，请接受 f*。
• 如果抛硬币反面朝上，则停留在 f 处。

我正在使用以下代码来实现这一点。我正在使用 c#，但试图让它对每个人来说都更加简化。如果有更好的论坛，请告诉我。

 var current_f = Initial();    // current accepted function f
 var current_Pl_f = InitialPl();  // current plausibility of accepted function f

 for (int i = 0; i < 10000; i++)
        {
            var candidate_f = Transpose(current_f); // create a candidate function

            var candidate_Pl_f = ComputePl(candidate_f);  // compute its plausibility

            if (candidate_Pl_f > current_Pl_f)            // candidate Pl has improved
            {
                current_f = candidate_f;            // accept the candidate
                current_Pl_f = candidate_Pl_f; 
            }
            else                                    // otherwise flip a coin
            {
                int flip = Flip(); 

                if (flip == 1)                      // heads
                {
                    current_f = candidate_f;        // accept it anyway
                    current_Pl_f = candidate_Pl_f; 
                }
                else if (flip == 0)                 // tails
                {
                    // what to do here ?
                }
            }
        }

我的问题基本上是这看起来是否是实现该算法的最佳方法。尽管实现了这种方法，但似乎我可能会陷入一些局部最大值/局部最小值。

编辑 - 这是 Transpose() 方法背后的本质。我使用 << 类型的字典/哈希表字符，字符>>候选函数用于查找任何给定的字符 ->字符转换。因此转置方法只是交换字典中决定函数行为的两个值。

    private Dictionary<char, char> Transpose(Dictionary<char, char> map, params int[] indices)
    {
        foreach (var index in indices)
        {
            char target_val = map.ElementAt(index).Value;   // get the value at the index

            char target_key = map.ElementAt(index).Key;     // get the key at the index

            int _rand = _random.Next(map.Count);   // get a random key (char) to swap with

            char rand_key = map.ElementAt(_rand).Key;

            char source_val = map[rand_key]; // the value that currently is used by the source of the swap

            map[target_key] = source_val; // make the swap

            map[rand_key] = target_val;
        }

        return map; 
    }

请记住，使用底层字典的候选函数基本上只是：

public char GetChar(char in, Dictionary<char, char> theMap)
{
     return theMap[char]; 
}

这是计算 Pl(f) 的函数：

    public decimal ComputePl(Func<char, char> candidate, string encrypted, decimal[][] _matrix)
    {
        decimal product = default(decimal);

        for (int i = 0; i < encrypted.Length; i++)
        {
            int j = i + 1;

            if (j >= encrypted.Length)
            {
                break;
            }

            char a = candidate(encrypted[i]);
            char b = candidate(encrypted[j]);

            int _a = GetIndex(_alphabet, a); // _alphabet is just a string/char[] of all avl chars 
            int _b = GetIndex(_alphabet, b);

            decimal _freq = _matrix[_a][_b]; 

            if (product == default(decimal))
            {
                product = _freq;
            }
            else
            {
                product = product * _freq;
            }
        }

        return product;
    }

Answer 1

暂时，codereview.stackexchange.com 可能是一个“更好的论坛”。
尽管如此，我还是会快速浏览一下：

• 乍一看，显示的代码片段是算法的正确实现。
• 算法是否会“卡在”局部极小值是一个与算法有关的问题，而不是与实现有关的问题。 （参见下面的讨论）
• 您对“最佳方法”的追求似乎是针对算法中的调整（与原始算法的偏差），而不是实现中的调整（使其更快和/或消除一些可能的缺陷）。有关算法的注意事项，请参阅下面的讨论；对于有关实施的讨论，请考虑以下内容：
  • 确保 Flip() 方法是公平的
  • 确保 ComputePl() 正确：由于值函数中的算术精度问题，经常会出现一些错误。
  • 使用 Transpose() 方法确保公平性（等概率）。
  • 性能改进可能来自 ComputePl() 方法（未显示）中的优化，而不是主循环中的优化。

关于算法本身及其对不同问题的适用性的讨论。
简而言之，该算法是一种引导随机搜索，其中使用两个随机设备对[巨大]解空间进行采样：Transpose() 方法（每次非常轻微地修改）当前候选函数和 Flip() 方法决定[局部]次优解决方案是否应该生存。搜索由目标函数 ComputePl() 引导，该函数本身基于某个参考语料库中的一阶转换矩阵。

在这种情况下，可以通过增加选择“次优”函数的概率来避免局部最小值“焦油坑”：而不是公平的 50-50 Flip()，可以尝试保留 66% 的“次优”解决方案的概率或甚至75%。这种方法通常会延长收敛到最佳解决方案所需的代数，但是，如上所述，可以避免陷入局部最小值。

确保算法适用性的另一种方法是确保更好地评估给定函数的合理性。该算法相对成功和通用性的可能解释是

• 英语中一阶转换的分布不是很均匀（因此通过奖励匹配的函数和惩罚匹配的函数，可以很好地模拟给定函数的合理性）它的不匹配）。这种多维统计数据比给定语言/语料库中字符的“0 阶”分布更能适应偏离参考语料库的情况。
• 一阶转换的分布虽然是特定于语言的，但在不同语言和/或行话词汇的上下文中通常是相似的[基于所述语言]。在速记行话的情况下，事情确实会崩溃，因为元音等字母通常会被省略。

因此，为了提高算法对给定问题的适用性，请确保所使用的分布矩阵与底层文本的语言和领域尽可能匹配。

Answer 2

从文章中的描述来看，您的实现似乎是正确的（您标记为“在这里做什么”的部分确实应该是什么）。

如果您遇到局部最大值问题（本文声称抛硬币应该避免这种情况），请确保您的 Initial、Transpose、ComputePl 和 Flip 的实现正确。

您还可以尝试使硬币抛掷有偏差（增加 Flip() == 1 的概率将使这更接近随机游走并且不易被卡住）。

这是代码的稍微严格的版本：

var current_f = Initial();    // current accepted function f
var current_Pl_f = ComputePl(current_f);  // current plausibility of accepted function f

for (int i = 0; i < 10000; i++)
{
    var candidate_f = Transpose(current_f); // create a candidate function
    var candidate_Pl_f = ComputePl(candidate_f);  // compute its plausibility

    if (candidate_Pl_f > current_Pl_f  ||  Flip() == 1)
    {
        // either candidate Pl has improved,
        // or it hasn't and we flipped the coin in candidate's favor
        //  - accept the candidate
        current_f = candidate_f;            
        current_Pl_f = candidate_Pl_f; 
    }
}

Answer 3

该算法似乎与http://en.wikipedia.org/wiki/Simulated_annealing有关。如果是这种情况，那么通过改变您接受当前解决方案的较差替代方案的概率可能会有助于这种行为，特别是如果您随着时间的推移降低这种概率。

或者，您可以从多个随机起点尝试简单的爬山 - 永远不要接受较差的替代方案，这意味着您将更频繁地陷入局部最大值，但从不同的起点重复运行算法。

当您对此进行测试时，您通常会知道测试问题的正确答案。最好将正确答案的合理性值与您的算法得出的合理性值进行比较，以防万一合理性公式存在弱点，在这种情况下，您的算法将得出错误的答案，这些答案看起来比正确答案更合理。正确的一个。