在 HoughCircles()、OpenCV 给出的一系列点上使用 warpPerspective()

Question

我试图从以透视角度拍摄的图像中检测台球在桌子上的位置。我正在使用 getPerspectiveTransform() 方法来查找变换矩阵，并且我想将其仅应用于使用 HoughCircles 检测到的圆。我正在尝试从一个相当大的梯形形状变成一个较小的矩形形状。我不想先对图像进行转换，然后找到霍夫圆，因为图像变形太大，霍夫圆无法提供有用的结果。

这是我的代码：

        CvMat mmat = cvCreateMat(3,3,CV_32FC1);
        double srcX1 = 462;
        double srcX2 = 978;
        double srcX3 = 1440;
        double srcX4 = 0;
        double srcY = 241;
        double srcHeight = 772;

        double dstX = 56.8;
        double dstY = 33.5;
        double dstWidth = 262.4;
        double dstHeight = 447.3;

        CvSeq seq = cvHoughCircles(newGray, circles, CV_HOUGH_GRADIENT, 2.1d, (double)newGray.height()/40, 85d, 65d, 5, 50);

        JavaCV.getPerspectiveTransform(new double[]{srcX1, srcY, srcX2,srcY, srcX3, srcHeight, srcX4, srcHeight}, 
                  new double[]{dstX, dstY, dstWidth, dstY, dstWidth, dstHeight, dstX, dstHeight}, mmat);
        cvWarpPerspective(seq, seq, mmat);


        for(int j=0; j<seq.total(); j++){
            CvPoint3D32f point = new CvPoint3D32f(cvGetSeqElem(seq, j));

            float xyr[] = {point.x(),point.y(),point.z()};
            CvPoint center = new CvPoint(Math.round(xyr[0]), Math.round(xyr[1]));

            int radius = Math.round(xyr[2]);
            cvCircle(gray, center, 3, CvScalar.GREEN, -1, 8, 0);
            cvCircle(gray, center, radius, CvScalar.BLUE, 3, 8, 0);
        }

问题是我在 warpPerspective() 方法上遇到此错误：

error: (-215) seq->total > 0 && CV_ELEM_SIZE(seq->flags) == seq->elem_size in function cv::Mat cv::cvarrToMat(const CvArr*, bool, bool, int) 

另外我想值得一提的是我正在使用 JavaCV，以防方法调用看起来与您习惯的有点不同。感谢您的任何帮助。

Answer 1

答案：

你想要做的问题（除了明显的问题之外，opencv 不会让你这样做）是半径不能真正正确地扭曲。 AFAIK xy 坐标很容易计算 x'=((m00x+m01y+m02)/(m20x+m21y+m22)) y'=((m10x+m11y+m12)/(m20x+m21y_m22)) 当 m 为变换矩阵。您可以通过变换原始圆的所有点来破解半径，然后找到 x'y' 和这些点之间的最大距离（至少如果扭曲图像中的半径预计覆盖所有这些点）
顺便说一句，mIJx = m(i,j)*x（只是为了澄清）

结束答案。

---

我写的所有内容都是根据c++版本的，我从未使用过JavaCV，但从我可以看到它只是一个调用本机 C++ 库的包装器。

CvSeq 是一种序列数据结构，其行为类似于链表。
您的应用程序崩溃的断言是，

CV_Assert(seq->total > 0 && CV_ELEM_SIZE(seq->flags) == seq->elem_size);

这意味着您的 seq 实例为空（总数是序列中的元素数量），或者内部 seq 标志已损坏。

我建议您检查 CvSeq 和 cvHoughCircles 调用的总成员。
所有这些都发生在 cvWarpPerspective 的实际实现之前（它是实现中的第一行，仅将您的 CvSeq 转换为 cv::Mat）.. 所以它不是扭曲，而是您之前所做的事情。
无论如何，要了解 cvHoughCircles 出了什么问题，我们需要有关 newGray 和 Circles 的创建的更多信息。

这是我在 javaCV 页面（链接）上找到的一个

IplImage gray = cvCreateImage( cvSize( img.width, img.height ), IPL_DEPTH_8U, 1 );
cvCvtColor( img, gray, CV_RGB2GRAY );
// smooth it, otherwise a lot of false circles may be detected
cvSmooth(gray,gray,CV_GAUSSIAN,9,9,2,2);
CvMemStorage circles = CvMemStorage.create();
CvSeq seq = cvHoughCircles(gray, circles.getPointer(), CV_HOUGH_GRADIENT,
                                                2, img.height/4, 100, 100, 0, 0);
for(int i=0; i<seq.total; i++){
        float xyr[] = cvGetSeqElem(seq,i).getFloatArray(0, 3);
        CvPoint center = new CvPoint(Math.round(xyr[0]), Math.round(xyr[1]));

        int radius = Math.round(xyr[2]);
        cvCircle(img, center.byValue(), 3, CvScalar.GREEN, -1, 8, 0);
        cvCircle(img, center.byValue(), radius, CvScalar.BLUE, 3, 8, 0);
}

示例我在 cvHoughCircles 的实现中看到，答案保存在 Circles buff 中，最后他们从中创建要返回的 CvSeq，所以如果您错误地分配了 Circles buff，它将无法工作。

编辑：

如您所见，从 cvHoughCircles 返回的 CvSeq 实例是点值列表，这可能就是断言失败的原因。您无法将此 CvSeq 转换为 cv::Mat.. 因为它不是 cv::Mat。要仅获取 cv::Mat 实例中从 cvHoughCircles 返回的圆，您需要创建一个新的 cv::Mat 实例，然后在其上绘制 CvSeq 中的所有圆 - 如上面提供的示例所示。
比扭曲会起作用（您将有一个 cv::Mat 实例，这就是函数所期望的 - cv::Mat 作为 CvSeq 中的唯一元素）

END EDIT

此处是 CvSeq 的 C++ 参考
如果你想摆弄源代码

cvarrToMat位于matrix.cpp中

CV_ELEM_SIZE 位于 types_c.h 中

cvWarpPerspective 位于 imgwarp.cpp

cvHoughCircles 位于 hough.cpp

我希望会有所帮助。

顺便说一句，你的下一个错误可能是：
C++ OpencCv 中的 cv::warpPerspective 断言 dst.data != src.data

不会工作，因为

cvWarpPerspective(seq, seq, mmat);

源 mat 和目标 mat 引用相同的数据。
并非 OpenCV 中的所有功能（以及一般的图像处理）都可以原位工作（因为没有原位算法，或者因为它比其他版本慢，例如 n*n 垫的转置可以在原位工作，但 n*m （其中 n!=m ）将更难在原位执行，并且可能会慢点）
你不能假设使用 src 矩阵作为 dst 会起作用。