OPENCV同型术后删除所有黑色

Question

我正在使用OPENCV同件将图像缝合在一起。如何删除图像之间的负空间，如下所示？

Answer 1

如果您愿意使用非OPENCV解决方案，则可以使用ImageMagick 7 -trim（或使用ImageMagick的Python Wand）。您可以使用subprocess.call

输入：

magick stitched_panorama.png -background black -define trim:percent-background=0% -fuzz 5% -trim +repage stitched_panorama_trimmed.png

Answer 2

使用python wand函数，我们可以进行修剪到0：

from wand.image import Image
from wand.color import Color
import matplotlib.pylab as plt

stitched = plt.imread('images/AGSbD.png')
stitched2 = stitched.copy()
stitched2 = Image.from_array(stitched2)
stitched2.trim(color=Color('rgb(0,0,0)'), percent_background=0.0, fuzz=0)
stitched2 = np.array(stitched2)

plt.figure(figsize=(15,5))
plt.imshow(stitched), plt.axis('off'), plt.title('stitched', size=20)
plt.show()
plt.figure(figsize=(15,5))
plt.imshow(stitched2), plt.axis('off'), plt.title('stitched & trimmed', size=20)
plt.show()

Answer 3

建议使用OPENCV的建议：

假设（x0，y0），（x1，y1）是该区域的左上和底部坐标（目标矩形，没有黑色边缘）。

将黑色边缘分成4个（或更少）的轮廓：

• “顶轮廓” - 上部黑色区域。
  “顶轮廓”定义y0坐标。
• “底部轮廓” - 底部黑色区域。
  “顶轮廓”定义y1坐标。
• “右轮廓” - 右黑区域。
  “右轮廓”定义x1坐标。
• “左轮廓” - 上图中不存在（所以我们只有3个轮廓）。
  “左轮廓”（如果存在）定义x0坐标。

这是一个例证：

---

在边缘构建一个二进制的“蒙版”，在“图像部分”处构建零：

我们想构建以下二进制图像：

您发布的示例图像使其有些挑战。
将黑色边缘与图像分开。
有些人工制品看起来像JPEG压缩工件，使过程更加困难。

建议使其更简单：
而不是以BGR像素格​​式缝制图像，而是以Bgra像素格式缝制图像。
将（原始图像集）的像素从BGR转换为BGRA，其中“ A”是一个alpha（透明）通道，填充了255（完全不透明）。
缝合图像后，输出的alpha通道应为255，其中像素是图像的一部分，在“黑色”边缘为零。
输出的Alpha通道为我们提供了所需的二进制掩码“免费”。

对于上述示例图像，我们可以使用以下阶段：

• 从BGR转换为灰度并应用阈值。
  通过试用错误，手动将阈值设置为10（没有伪像，它应该为1）。
• 应用开放的形态操作以去除剩余的伪影。
• 找到轮廓并用白色（255）颜色填充（填充“孔” - “活动区域”以下的“活动区域”内的像素）。

---

裁剪矩形与最低面积：
要将背景分为4个（或更少）轮廓，我们必须确保“黑色区域”很好地分开（未连接）。
为此，我们可能会在最低区域裁剪矩形：

• 查找轮廓（应该只有一个）。
• 找到最小面积的矩形。
• 裁剪最小面积的矩形。

---

查找和分析4（或更少）轮廓：

• 获取逆阈值：Inv_thresh = 255-阈值。
• 再次查找轮廓...
  现在，我们最多有4个轮廓（在我们的情况下为3个） - “顶部”，“底部”和“右”。
• 迭代轮廓，并识别左，紧身，顶部和底部：
  对于每个轮廓，找到边界矩形（x，y，w，h）= cv2.boundingRect（c）。
  如果x == 0和（h＆gt; w）我们找到了“左轮廓”。
  如果x + w =​​= image_witdh和（h＆gt; w）我们找到了“正确的轮廓”。
  如果y == 0和（w＆gt; h）我们找到了“顶级轮廓”。
  如果y + h == image_height和（w＆gt; h）我们找到了“底部轮廓”。
  注意：当上述启发式方法失败时，可能会有很少的情况 - 对于县解决方案，我们可能需要将每个轮廓与所有其他轮廓进行比较（一种排序）。

---

代码样本：
以下代码示例还将“左”，“右”，“ top”，“底部”写为草图图像上的文本。

import numpy as np
import cv2

img = cv2.imread('stitched.png')  # Read input image

# Build a mask with zeros where pixels are black borders, and 255 otherwise
# Use threshold=10 instead of 1, and use opening operation due to JPEG compression artifacts.
thresh = cv2.threshold(cv2.cvtColor(img, cv2.COLOR_BGR2GRAY), 10, 255, cv2.THRESH_BINARY)[1]
thresh = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, np.ones((3, 3), np.uint8))

# Find contours (there should be only one).
cnts = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)[-2] # Use index -2 for OpenCV 3 and 4 compatibility.
c = cnts[0]  # Get the first contour (get the single contour).
cv2.drawContours(thresh, [c], 0, 255, -1)  # Fill the contour with 255 (fill dark pixels under threshold inside the contour).

# Find rectangle with minimum area
rect = cv2.minAreaRect(c)
box = np.int0(cv2.boxPoints(rect)) # Find 4 corners all convert from floating point values to int

# Crop the rectangle with minimum area (crop both img and thresh)
(topy, topx) = (np.min(box[:,1]), np.min(box[:,0]))  # https://stackoverflow.com/questions/28759253/how-to-crop-the-internal-area-of-a-contour
(boty, botx) = (np.max(box[:,1]), np.max(box[:,0]))
img = img[topy:boty+1, topx:botx+1, :]
thresh = thresh[topy:boty+1, topx:botx+1]

inv_thresh = 255 - thresh  # Inverse of thresh.

cnts = cv2.findContours(inv_thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)[-2]

inv_thresh_bgr = cv2.cvtColor(inv_thresh, cv2.COLOR_GRAY2BGR)  # inv_thresh_bgr is used for testing.

# Initialize top left and bottom right coordinates to be cropped (values are going apply area without black borders).
x0 = 0
y0 = 0
x1 = img.shape[1]
y1 = img.shape[0]

# Iterate contours:
for c in cnts:    
    (x, y, w, h) = cv2.boundingRect(c)  # Get contour bounding box.
    M = cv2.moments(c);cx = int(M["m10"] / M["m00"]);cy = int(M["m01"] / M["m00"]) # Compute the center of the contour (for testing)
     
    if (x == 0) and (h > w):
        # Enter here if "c" is the "Left contour" (for the given sample input, code should not reach here)
        x0 = w  # x0 is deffined by the left contour (x0 is the extreme right of the left contour).
        cv2.putText(inv_thresh_bgr, 'Left', (cx, cy), cv2.FONT_HERSHEY_DUPLEX, 1, (0, 255, 0), 2)  # Draw text for testing        
    elif ((x + w) == img.shape[1]) and (h > w):
        # Enter here if "c" is the "Right contour"
        x1 = x  # x1 is deffined by the right contour (x1 is the extreme left coordinate of the right contour)
        cv2.putText(inv_thresh_bgr, 'Right', (cx-80, cy), cv2.FONT_HERSHEY_DUPLEX, 1, (0, 255, 0), 2)  # Draw text for testing
    elif (y == 0) and (w > h):
        # Enter here if "c" is the "Top contour"
        y0 = h  # y0 is deffined by the to contour (y0 is the extreme bottom of the top contour).
        cv2.putText(inv_thresh_bgr, 'Top', (cx, cy+10), cv2.FONT_HERSHEY_DUPLEX, 1, (0, 255, 0), 2)  # Draw text for testing
    elif ((y + h) == img.shape[0]) and (w > h):
        # Enter here if "c" is the "Bottom contour"
        y1 = y  # y1 is deffined by the bottom contour (y1 is the extreme top of the bottom contour).
        cv2.putText(inv_thresh_bgr, 'Bottom', (cx, cy+10), cv2.FONT_HERSHEY_DUPLEX, 1, (0, 255, 0), 2)  # Draw text for testing

cv2.imwrite('inv_thresh_bgr.png', inv_thresh_bgr)  # Save for testing

# Crop the part without black margins.
img = img[y0:y1, x0:x1, :]

cv2.imshow('thresh', thresh)  # Show for testing
cv2.imshow('inv_thresh', inv_thresh)  # Show for testing
cv2.imshow('inv_thresh_bgr', inv_thresh_bgr)  # Show for testing
cv2.imshow('img', img)  # Show for testing
cv2.waitKey()
cv2.destroyAllWindows()

---

结果：

Inv_thresh_bgr（用于测试）：

输出img：