是否有更有效的方法来搜索特定像素？

Question

我目前正在使用Python和OpenCV进行计算机视觉项目。

我需要在图像中搜索大小约为620x420像素的绿色像素，该图像最接近图像的底部。以前的轮廓分析中的图像中有多个绿色像素（例如100）。

这是一个示例图像：

我已经使用以下代码实现了它：

    # Search for the most bottom contour point
    xLowestContour = 0                         # x coordinate of the lowest contour point
    yLowestContour = 0                         # y coordinate of the lowest contour point
    for y in range(roi_h):                     # roi_h is the heigth of the image
        for x in range(roi_w):                 # roi_w is the width of the image
            (b, g, r) = roi_copy[y, x]         # roi_copy is the actual image
            if g == 255 and b == 0 and r == 0:
                xLowestContour = x
                yLowestContour = y

此代码可行。但是它有一个很大的问题。看起来这种方式在图像中搜索特定像素的方式非常效率非常低。使用此代码，帧率从25 fps下降到2 fps。使用此代码时，CPU利用率仅为10％。

是否有更有效的方法可以进行此操作？我还想利用更多的CPU功率并实现更高的帧率。

Answer 1

避免循环，使用numpy！

您可以使用numpy的 a>。该语句返回一系列坐标，其中一定条件被满足。

a = np.argwhere(image == [0,255,0])

# returns array a with three columns,
# since you need only the coordinates, you can delete the third column:
a = np.delete(a, 2, 1)  # delete third column in a

a将返回以下示例：

array([[  0,  18],
       [  0,  19],
       [  0,  21],
       ...,
       [539, 675],
       [539, 677],
       [539, 677]], dtype=int64)

上述返回坐标，其中绿色像素值[0，255，0]存在。

根据返回的坐标，您可以将其更靠近图像的底部过滤。

Answer 2

def get_last_pixel(image, rgb):
    color_rows, color_cols = np.where((image[:, :, 0] == rgb[0]) & (image[:, :, 1] == rgb[1]) & (
        image[:, :, 2] == rgb[2]))  # Get coordinates of pixels wit the requested rgb value
    if len(color_rows) == 0:
        raise Exception("no pixels of the requested color")
    row_max = np.argmax(color_rows)  # Find the index of the biggest row
    pixel_coords = (color_rows[row_max], color_cols[row_max])
    return pixel_coords


example_input = cv2.imread("example_input.png")
last_green = get_last_pixel(example_input, (0, 255, 0))
example_output = cv2.circle(
    example_input, last_green[::-1], radius=5, color=(0, 0, 255), thickness=1)
cv2.imwrite("example_output.png", example_output)

示例输入：

示例输出：

Answer 3

在公认的答案中存在一个明显的问题，因为我们可以看到的最后一个坐标是[539，677]。好吧，（539,677）也没有（677,539）。这里的问题是，它检查了条件是否在RGB值中是正确的。如果只有一个值是正确的，那么其他所有值也是真实的。

def argwhere(pic, color):
    a = np.argwhere(pic == color)
    return np.delete(a, 2, 1)



exa2 = argwhere(pic=img, color=[0, 255, 0])
for e in exa2:
    if np.sum(img[e[0], e[1]]) != 255:
        print(img[e[0], e[1]])
# ....
# [0 0 0]
# [0 0 0]
# [0 0 0]
# [0 0 0]
# [0 0 0]
# [255 255 255]
# [255 255 255]
# [255 255 255]
# [255 255 255]
# [255 255 255]
# [255 255 255]
# ....

本周，我发现了有关numexpr https：//github.com/pydata/numexpr （感谢） stackoverflow），并写出比np.argwhere快5倍的功能（image == [0,255,0]），并且可能比pil快100倍。还有更好的：它检查所有RGB值：)

import numexpr
import numpy as np


def search_colors(pic, colors):
    colorstosearch = colors
    red = pic[..., 0]
    green = pic[..., 1]
    blue = pic[..., 2]
    wholedict = {"blue": blue, "green": green, "red": red}
    wholecommand = ""
    for ini, co in enumerate(colorstosearch):
        for ini2, col in enumerate(co):
            wholedict[f"varall{ini}_{ini2}"] = np.array([col]).astype(np.uint8)
        wholecommand += f"((red == varall{ini}_0) & (green == varall{ini}_1) & (blue == varall{ini}_2))|"
    wholecommand = wholecommand.strip("|")
    expre = numexpr.evaluate(wholecommand, local_dict=wholedict)
    exa = np.array(np.where(expre)).T[::-1]
    return np.vstack([exa[..., 1], exa[..., 0]]).T


import cv2

path = r"C:\Users\Gamer\Documents\Downloads\jFDSk.png"
img = cv2.imread(path)
exa1 = search_colors(pic=img, colors=[(0, 255, 0)])
coords = exa1[np.where(np.max(exa1[..., 1]))[0]]
print(coords)
#array([[324,  66]], dtype=int64) 

它正在快速燃烧：（ 1 ms / intel i5）

%timeit search_colors(pic=img, colors=[(0,255,0)])
1.05 ms ± 7.97 µs per loop (mean ± std. dev. of 7 runs, 1,000 loops each)

%timeit argwhere(pic=img, color=[0, 255, 0])
4.68 ms ± 63.6 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)