OpenCV 34: SURF 加速鲁棒特征

目标

在这一章当中，将学习：

SURF的基础
OpenCV中的SURF函数

理论

在上一章中，看到了SIFT用于关键点检测和描述符。但该算法比较相对缓慢，人们需要更多的加速版本。 2006年，H .Tuytelaars, 和 Van Gool 发表了另一篇论文,“SURF: Speeded Up Robust Features”,引入了一种名为“SURF”的新算法。正如名字所表明的那样,它是一个加速版本的SIFT。在SIFT中，Lowe用高斯差近似高斯的拉普拉斯算子来寻找尺度空间。SURF走得更远，使用Box Filter近似LoG。下图显示了这种近似值的演示。这种近似的一大优点是，借助积分图像可以轻松地计算出box filter 的卷积。并且可以针对不同规模并行执行。SURF还依赖于Hessian矩阵的行列式来确定尺度和位置。

在这里插入图片描述

对于方向分配，SURF在水平和垂直方向上对大小为6的邻域使用小波响应。适当的高斯权重也适用于它。然后将它们绘制在下图所示的空间中。通过计算角度为60度的滑动方向窗口内所有响应的总和，可以估算主导方向。有趣的是，小波响应可以很容易地使用积分图像在任何规模下发现。对于许多应用，不需要旋转不变性，因此无需查找此方向，从而加快了过程。SURF提供了称为Upright-SURF或U-SURF的功能。它提高了速度，并具有高达 $\pm 15^{\circ}$ 的鲁棒性。OpenCV根据标志支持两种方式。如果为0，则计算方向。如果为1，则不计算方向并且速度更快。

在这里插入图片描述

对于功能描述，SURF在水平和垂直方向上使用小波响应（同样，使用积分图像使事情变得更容易）。在s是大小的关键点周围采用大小为20X20的邻域。它分为4x4子区域。对于每个子区域，获取水平和垂直小波响应，并像这样形成向量， $v =(\sum dx,\sum dy,\sum |dx|,\sum |dy|)$ 。当表示为向量时，这将为SURF特征描述符提供总共64个维度。尺寸越小，计算和匹配速度越快，但特征的区分性更好。 为了更加具有区分性，SURF特征描述符具有扩展的128维版本。dx和|dx|的和分别针对dy<0和dy≥0进行计算。同样，dy和|dy|的总和根据dx的符号进行拆分，从而使特征数量加倍。它不会增加太多的计算复杂性。OpenCV通过将分别为64-dim和128-dim（默认值为128-dim）的标志的值设置为0 和1来支持这两者（默认为128-dim）。 另一个重要的改进是对基础兴趣点使用了Laplacian算符（海森矩阵的迹）。它不增加计算成本，因为它已在检测期间进行了计算。拉普拉斯算子的标志将深色背景上的明亮斑点与相反的情况区分开。在匹配阶段，仅比较具有相同对比类型的特征（如下图所示）。这些最少的信息可加快匹配速度，而不会降低描述符的性能。

在这里插入图片描述

简而言之，SURF添加了许多功能来提高每一步的速度。分析表明，它的速度是SIFT的3倍，而性能却与SIFT相当。SURF擅长处理具有模糊和旋转的图像，但不擅长处理视点变化和照明变化。

OpenCV中的SURF

OpenCV提供了类似于SIFT的SURF功能。可以使用一些可选条件（例如64/128-dim描述符， Upright / Normal SURF等）来启动SURF对象。所有详细信息在docs中都有详细说明。然后，就像在SIFT中所做的那样，可以使用SURF.detect()，SURF.compute()等来查找关键点和描述符。首先，将看到一个有关如何找到SURF关键点和描述符并进行绘制的简单演示。所有示例都在Python终端中显示，因为它与SIFT相同。

注意要安装opencv-python==3.4.2.17 才能用

img = cv2.imread('fly.png', 0)

# Create SURF object. You can specify params here or later.
# Here I set Hessian Threshold to 400
surf = cv2.xfeatures2d.SURF_create(400)

# Find keypoints and descriptors directly
kp, des = surf.detectAndCompute(img, None)
print(len(kp))
# 658

图片中无法显示1967个关键点。将其减少到50左右以绘制在图像上。匹配时，可能需要所有这些功能，但现在不需要。因此，增加海森阈值。

surf.getHessianThreshold()
# We set it to some 50000. Remember, it is just for representing in picture.
# In actual cases, it is better to have a value 300-500
surf.setHessianThreshold(50000)

# Again compute keypoints and check its number.
kp, des = surf.detectAndCompute(img, None)

print(len(kp))
# 42

# plot
img2 = cv2.drawKeypoints(img,kp,None,(255,0,0),4)
plt.imshow(img2)
plt.show()

在这里插入图片描述

结果如下，可以看到SURF更像是斑点检测器。现在，想应用U-SURF，并且不需要方向。

print( surf.getUpright() )
# True 默认是方向都一致的
surf.setUpright(True)
# Recompute the feature points and draw it
kp = surf.detect(img, None)
img2 = cv2.drawKeypoints(img, kp, None,(255, 0, 0),4)
plt.imshow(img2)
plt.show()

参见下面的结果。所有的方向都显示在同一个方向上。它比以前更快了。如果你工作的情况下，方向不是一个问题(如全景拼接)等，这是更好的。

在这里插入图片描述最后，检查描述符的大小，如果只有64维，可以将其更改为128。

# Find size of descriptor
print(surf.descriptorSize())
# 64
# That means flag, "extended" is False.
surf.getExtended()
# False

# So we make it to True to get 128-dim descriptors.
surf.setExtended(True)

kp, des = surf.detectAndCompute(img,None)
print(surf.descriptorSize())
# 128

print(des.shape)
# (47, 128)

OpenCV 34: SURF 加速鲁棒特征

目标

理论

OpenCV中的SURF

附加资源