图像处理手部特征识别

Question

我正在解决一个问题（在 C++/opencv 中），其中需要使用从肤色和上手特征提取的身份信息来区分 4 个用户。然而，肤色方法（YCrCb）的可靠性非常低，因为肤色之间没有太大差异。因此，我试图从手上提取更多特征，例如较暗的斑点等。为此，我计算了图像的拉普拉斯。结果：

http://imageshack.us/photo/my-images/818/afb1.jpg/
http://imageshack.us/photo/my-images/31/afb2i.jpg/
http://imageshack.us/photo/my-images/638/afb3.jpg/

前两张图像来自同一个人/手。第二张图片是另一个人的手。正如您所看到的，在前两张图像中可以看到一个清晰的亮点，它们代表手上的较暗点。我的想法是对小方块中的手部轮廓进行采样，并在其他图像中查找这些方块。之后，我们可以评估哪张图像与给定图像具有最多和最高的匹配度。

但是，我找不到一种算法来查找样本图像和另一张图像之间的匹配。我尝试了 cvMatchTemplate() 操作（http://dasl.mem.drexel.edu/~noahKuntz/openCVTut6.html#Step%202）和meanShift算法，但这两种技术的结果都非常糟糕。

有人可以给我一些建议吗？

Answer 1

这是一个棘手的问题，因为手是一个非常灵活的物体。如果你先解决手部姿势估计问题，你可能会运气好。
这是一篇很好的论文，可以帮助您掌握研究领域：

基于视觉的手部姿势估计：回顾

OpenCV 实现的视频示例：

http://www.youtube.com/watch?v=uETHJQhK144

一旦您估算出手的姿势，那么您就有了隔离和比较每只手的相同区域（例如，指关节和手腕之间的区域）的基础。然后您可以开始应用通用图像匹配技术。应用特征脸示例（在您的情况下为“特征手”）可能是您最好的选择。特征脸是在计算机视觉入门课程中教授的，并且可以在线获取大量信息。