欠约束系统的 SciPy 优化

Question

我经常需要解决非线性问题，其中变量的数量超过约束的数量（有时相反）。通常，一些约束或变量以复杂的方式是多余的。有什么办法可以解决此类问题吗？

大多数 scipy 求解器似乎假设约束的数量等于变量的数量，并且雅可比行列式是非奇异的。 leastsq 有时会起作用，但当约束少于变量数量时它甚至不会尝试。我意识到我可以在 linalg.norm(F) 上运行 fmin，但这比任何使用雅可比行列式的方法效率要低得多。

这是一个问题的例子，它演示了我正在谈论的内容。显然它有一个解决方案，但是 leastsq 给出了错误。当然，这个例子很容易手工解决，我放在这里只是为了演示这个问题。

import numpy as np
import scipy.optimize

mat = np.random.randn(5, 7)

def F(x):
    y = np.dot(mat, x)
    return np.array([ y[0]**2 + y[1]**3 + 12, y[2] + 17 ])

x0 = np.random.randn(7)
scipy.optimize.leastsq(F, x0)

我收到的错误消息是：

Traceback (most recent call last):
  File "question.py", line 13, in <module>
    scipy.optimize.leastsq(F, x0)
  File "/home/dstahlke/apps/scipy/lib64/python2.7/site-packages/scipy/optimize/minpack.py", line 278, in leastsq
    raise TypeError('Improper input: N=%s must not exceed M=%s' % (n,m))
TypeError: Improper input: N=7 must not exceed M=2

我已经在网上搜索答案，甚至在 SciPy 邮件列表上询问，但没有得到回应。目前，我破解了 SciPy 源代码，以便 newton_krylov 求解器使用 pinv() ，但我认为这不是最佳解决方案。

Answer 1

如何将返回数组的大小从 F() 调整为变量的数量：

import numpy as np
import scipy.optimize

mat = np.random.randn(5, 7)

def F(x):
    y = np.dot(mat, x)
    return np.resize(np.array([ y[0]**2 + y[1]**3 + 12, y[2] + 17]), 7)

while True:    
    x0 = np.random.randn(7)
    r = scipy.optimize.leastsq(F, x0)
    err = F(r[0])
    norm =  np.dot(err, err)
    if norm < 1e-6:
        break

print err