图像上的 3D 旋转

Question

我正在尝试获取一些代码来对图像执行透视变换（在本例中为 3d 旋转）。

import os.path
import numpy as np
import cv

def rotation(angle, axis):
    return np.eye(3) + np.sin(angle) * skew(axis) \
               + (1 - np.cos(angle)) * skew(axis).dot(skew(axis))

def skew(vec):
    return np.array([[0, -vec[2], vec[1]],
                     [vec[2], 0, -vec[0]],
                     [-vec[1], vec[0], 0]])

def rotate_image(imgname_in, angle, axis, imgname_out=None):
    if imgname_out is None:
        base, ext = os.path.splitext(imgname_in)
        imgname_out = base + '-out' + ext
    img_in = cv.LoadImage(imgname_in)
    img_size = cv.GetSize(img_in)
    img_out = cv.CreateImage(img_size, img_in.depth, img_in.nChannels)
    transform = rotation(angle, axis)
    cv.WarpPerspective(img_in, img_out, cv.fromarray(transform))
    cv.SaveImage(imgname_out, img_out)

当我绕 z 轴旋转时，一切都按预期工作，但绕 x 或 y 轴旋转似乎完全不正常。在开始获得看起来完全合理的结果之前，我需要旋转小至 pi/200 的角度。知道可能出什么问题吗？

Answer 1

首先，构建旋转矩阵，其形式

    [cos(theta)  -sin(theta)  0]
R = [sin(theta)   cos(theta)  0]
    [0            0           1]

为应用此坐标变换可以围绕原点进行旋转。

相反，如果您想绕图像中心旋转，则必须首先移动图像中心
到原点，然后应用旋转，然后将所有内容移回原点。您可以使用
平移矩阵：

    [1  0  -image_width/2]
T = [0  1  -image_height/2]
    [0  0   1]

平移、旋转和逆平移的变换矩阵变为：

H = inv(T) * R * T

我必须考虑一下如何将倾斜矩阵与 3D 变换联系起来。我预计最简单的方法是设置 4D 变换矩阵，然后将其投影回 2D 齐次坐标。但目前，倾斜矩阵的一般形式：

    [x_scale 0       0]
S = [0       y_scale 0]
    [x_skew  y_skew  1]

x_skew 和 y_skew 值通常很小（1e-3 或更小）。

这是代码：

from skimage import data, transform
import numpy as np
import matplotlib.pyplot as plt

img = data.camera()

theta = np.deg2rad(10)
tx = 0
ty = 0

S, C = np.sin(theta), np.cos(theta)

# Rotation matrix, angle theta, translation tx, ty
H = np.array([[C, -S, tx],
              [S,  C, ty],
              [0,  0, 1]])

# Translation matrix to shift the image center to the origin
r, c = img.shape
T = np.array([[1, 0, -c / 2.],
              [0, 1, -r / 2.],
              [0, 0, 1]])

# Skew, for perspective
S = np.array([[1, 0, 0],
              [0, 1.3, 0],
              [0, 1e-3, 1]])

img_rot = transform.homography(img, H)
img_rot_center_skew = transform.homography(img, S.dot(np.linalg.inv(T).dot(H).dot(T)))

f, (ax0, ax1, ax2) = plt.subplots(1, 3)
ax0.imshow(img, cmap=plt.cm.gray, interpolation='nearest')
ax1.imshow(img_rot, cmap=plt.cm.gray, interpolation='nearest')
ax2.imshow(img_rot_center_skew, cmap=plt.cm.gray, interpolation='nearest')
plt.show()

输出：

Answer 2

我不明白你构建旋转矩阵的方式。对我来说这似乎相当复杂。通常，它会通过构造一个零矩阵，将 1 放在不需要的轴上，以及常见的 sin、cos、- 来构建cos、sin 转换为两个使用的维度。然后将所有这些相乘。

你从哪里得到的 np.eye(3) + np.sin(angle) * skew(axis) + (1 - np.cos(angle)) * skew(axis).dot(skew(axis)) 构造自？

尝试从基本构建块构建投影矩阵。构建旋转矩阵相当容易，“旋转矩阵点倾斜矩阵”应该可以工作。

不过，您可能需要注意旋转中心。您的图像可能放置在 z 轴上的虚拟位置 1 处，因此通过在 x 或 y 上旋转，它会移动一点。
因此，您需要使用平移，使 z 变为 0，然后旋转，然后平移回来。 （仿射坐标中的平移矩阵也非常简单。请参阅维基百科：https://en.wikipedia.org/维基/Transformation_matrix ）