基于Census变换的双目立体匹配算法

第40卷第3期

2019年3

计算机工程与设计

COMPUTER ENGINEERING AND DESIGN

Mar. 2019 Vol. 40

No. 3

基于Census变换的双目立体匹配算法

杨芳12 !刘大铭12+，刘晨曦12 !高久伟12 !袁媛12(1.宁夏大学物理与电子电气工程学院，宁夏银川750021&2.宁夏大学沙漠信息智能感知重点实验室，宁夏银川750021)

摘要：针对双目视觉系统特征匹配过程中出现的重叠遮挡、重复纹理、低纹理、投影缩放等问题，提出基于Census变换 改进的特征匹配方法。利用Harris角点检测算法提取特征点，使用Census变换生成特征点的描述子；用汉明距离对描述

子进行相似度判断，利用左右一致性进行双向匹配完成粗匹配，消除其重叠遮挡点及低纹理现象，为再匹配提供更加准确 的位置信息；利用粗匹配集合中匹配点的位置信息进行筛选，完成再匹配，得到匹配的特征点对。实验结果表明，该方法 对于双目摄像机标定中常用的高重复纹理的棋盘图具有很好的匹配效果，算法运算时间短，可用于实时性系统中。

关键词：双目视觉系统；特征匹配；Harris角点检测；Census变换；双向匹配中图法分类号！ TP391.41 文献标识号：A 文章编号$ 1000-7024 (2019) 03-0713-06

doi： 10. 16208/；. issnl000-7024. 2019. 03. 020

Stereo matching algorithm for binocular vision system

based on Census transform

YANGFang1’2 & LIU Da-ming1’2+ & LIU Chen-xi1’2，GAO Jiu-wei1’2 & YUAN Yuan1’2

(1. School of Physics and Electronic-Electrical Engineering, Ningxia University, Yinchuan 750021, China；2. Key Laboratory of Intelligent Sensing for Desert Information, Ningxia University’ Yinchuan 750021, China)

Abstract： Improved feature matching method based

on

census

transform

was

proposed to solve the

sion’ repeated texture, low texture and projective scaling. The feature points were extracted using Harris corner detection algo­rithm and descriptors of feature points were generated by Census transform. The Hamming distance was used to judge the simila­rity of the descriptor. The lett and right consistency was used to complete the rough matching, overlapping occlusion points andlow textures were eliminated to the coarse matching matching effects for time system.

Key words： binocular

vision

system； feature matching； Harris

corner

detection； Census

transform；

set was the

provide

more

accurate location

information.

The

location information results

show

that

selected to high

complete the matching.

checkerboard

Experimentll images

in

repetitive texture binocular camera calibra

bidirec

/引言

目前常用的图像特征点匹配[1，2]有：SIFT算法、SURF

算法、ORB算法。SIFT算法是由Lowe提出的一种检测局 部特征的算法。该算法具有尺度不变性和旋转不变性，但 算法复杂，往往不能满足系统的实时性要求。针对SIFT算

法中的不足’ Bay在此基础上提出了 SURF算法’该算法 具有尺度不变性’主要在执行效率上进行改进，缩短了匹 配时间。Rublee等提出了 ORB算法，该算法比SURF效率 更高，是

ORB

3

种方法中速度最快的，具有快速优越性[34]。

的快速性使得它在实时系统中得到了广泛的应用，但

其准确性欠佳。在双目视觉测距系统中，系统是由在同一

收稿日期：2017-12-22；修订日期：2018-03-01

基金项目：2017年宁夏大学研究生创新基金项目（GIP2017008)

作者简介：杨芳$991-），女，宁夏中卫人，硕士研究生，研究方向为图像处理与模式识别；+

银川人，教授，研究方向为控制理论与控制工程；刘晨曦$

991-),

通讯作者：刘大铭（1969 -），男，宁夏

女，河北衡水人，硕士研究生，研究方向为智能仪器与检测技术；

),

高久伟（1994-),男，安徽六安人，硕士研究生，研究方向为智能仪器与检测技术；袁媛（1991-方向为智能仪器与检测技术。E-mail: nxldm@qq.com

女，宁夏银川人，硕士研究生，研究

• 71& •

计算机工程与设计

2019 年

水平线上保持相对位置不变的两个相同摄像机构成的，所 由双目视觉 片具有光学 滑表面的 挡

本 ，

的图片不存在尺度变化和匹配时旋

和噪声（亮度、色调、饱和 射、投影

，尤其在双目视觉

中采用棋牌图

衡)、平机进行标

。但其由于两摄像机的拍摄视角不同，拍摄出的图

、低纹理、重复纹理、重叠遮

果不佳[5]。双目视觉系统的特性要求，

结果验证了

本流程都可分为3步，分别为：提取特征点，构建特征描 述子，通过匹配条件进行匹配。从基本流程出发，本文针 对双目视觉 具体流程如下：

$

)

的 配 如图1所示，其

将双目摄像系统拍出的左图W和右图R输入系 使用Harris角点检测对左右图片进行特征点提取。

生的比

中。

$

)

$) Census变换+]

，存在大量重复纹理，使用ORB

一种基于Census变 足双目视觉 的

性。

的

作为 的三

征匹配算法，有效解决重复纹理、重叠遮挡、低纹理等问 。

(4)

基于Census变换进行粗匹配，产生粗匹配

集合A。

$$

))

1匹配算法

目前特征匹配算法多种多样，对任意一种算法，其基

对集合A中所有点的位置特征进行统计。利用统计出的信息， 配

。

有像素点进行再匹配。

$7)

图1算法框架

2. 1.1

2基于Census变换的特征匹配算法

计算图像灰度梯度

求得像素点1$：，3〇,在^和^方向上的灰度梯度夂、

4,

2.1多尺度Harris算法的角点提取

1988 年，

HarrisC 和 StephensMJ 通过学习 moravec

并计算图像中每个像素点两个方向梯度的乘积巧、巧

(1)

算法，

通

一种基于信号的 像

个方向上的

变 的大小则为

+]。Hams

分计算，构造自

的

2.1.2

_ jU+P -(p+M =L/L+ =:+y / +(2)(3)

具有明显变化的像素点位置，利用自 ，而自 的

。具体操作如图2所示。

⑷

计算局部自相关矩阵M

很重要，当物体尺寸或者距离

物体

具有尺度不

结合

Hamis

尺度不变性对图像 的

变性，本

识别。为

发生改变时，具有尺度不变性的角点检

检 与高斯尺

Hamis角点检

图2角点检测过程其中，八、乙分别由式（1)、式

$)

所求，％，，为高斯函数

$)

图2中，利用固定大小窗口在a，b，c这3个位置计算 该位置像

的各个方向神的微分。当窗口在c位置时，

窗口的各个方向上像素均无变化；当窗口处于b位置时只 有只有水平方向上有变化；当窗口位于a位置时，窗口在 各个方向上具有变化，判断为角点。下面为Hamis角点检 测算法的具体步骤。

图像表

。

比，用 个

M2lp2)/242

自相关矩阵M的两个特征值A1，A2与两个主轴方向的

断该点处于平坦区、

点

很小，即A1，A2都很小时，说明

，该点为

。

个

：

局部自相关函数很平坦，则此点位于平坦区。当两特征值 一‘大一'小时，此处为一'

第40卷第3期

杨芳，刘大铭，刘晨曦，等：基于Census变换的双目立体匹配算法

• 715 •

值都很大时，局部自相关函数沿任何方向变化都很激烈， 断该点为角点。

2.1.3

非中心像素点为g

6:) \"

!(+(:)，+〇)

⑶

计算图像各点响应值CRF

M

利用式求出矩阵各点的响应值CRF

，通过角点响应函数计算图像

式中：+(:)，+()为：，d两点的灰度值，F表示按位相连。

(7)A2，

CRF(x,y) \" Det(M —k(Trace(M%2

生成比 6:)长度为\"/\"一 1。

其中，F8(M) \" AiA2 为 M 的行列式，Trj

9

(M) \" A# +

因为在双目视觉系统中，两个摄像机的位置固定在同 一水平 作为

，不存在旋转及 的

，

，

要求。Census方 由光

留了窗

只需特征点的灰度信息即可，以Census变换生成的比特串

为M的迹。K为经验值常数，一般为0.04〜0.06范围内。

2. 1. 4

提取角点

对图像每个像素点的某一邻域内（一般为3/3)的响 应

，

2. 1.5

断，当该像 该点为

，对其

。

临近角点剔除

为该邻域内的口中像素的位置

图像

起的亮度偏

差有较好的鲁棒性。

求出比特串为G，右图像素点求出为65,

用汉明距离计算两比特串的相似度。汉明距离定义为两个 比特串对应位不相同的个数。当相似度达到80%以上时则 认为其可能为匹配点。设

，

G

实验仿真发现对于变化复杂的区域内容易出现角点簇 拥现象，影响后续的特征点匹配，所以本文添加了临近角 点剔除策略。选取一个N/ N领域对已完成Harris角点检 的图像经行临 目 它 到的

1

长度的80%为 。 自(10)

的剔除，当检

的

该领域内，数

留，其先检测

息，

越高匹配点越少，但匹配 越高

时，选取领域内响应 ，其它点一律

。

H(：C) \" Hamming(C1(：),C2( q) 由Census生成的比

双目视觉经

用的棋盘图片等包

剔除。当邻域内 不止一个时，选 包含该点的图像的结构信

量重复纹

2.2基于Census变换的粗匹配

Census变换+’9]是一种非参数的局部变换，不依赖于

理的图片来说，Census生成的描述子还不足以将特征点进 行很好的配对。于是本

的位置信息作为参

考进行匹配点的筛选，图3是匹配点与匹配向量坐标示意 图，其中图3 ()所示为：，两点匹配示意图，图3 (b) 是建立的匹配向量坐标示意图，设匹配图像中的特征点为 :(Mj Pa)，待匹配图像中的特征点为q(M6,3)，设向量q为匹配向量，记录：，

q

中心像素点的 ， 由其邻域窗口内各像 与中

心像素点的灰度值的相对大小及相对中心点的位置所决定 的，多用于局部立体匹配时计算匹配代价。Census变换实 质上是将N/比 像

设

N

邻域窗口内的灰度信息映射到一个二进制

与中心

，从而捕捉图像的结构。将邻域窗口内 的

作

，

中心像

置连接。

的位置信息 = (M，p)

(1)(12)(13)

的则记为1，否则

为0,将比较结果按邻域内

N

M \" Ma — yi = Pa— Pb

/N的方形窗口 W，其中心像素点为{，窗口内

(a)匹配点 （b)匹配向量坐标

图3 匹配点与匹配向量坐标

(b)中所示，用向量与x轴夹角的余弦来表示

cos*

双目立体视觉系统结构为双目横向平行模型，所以两 匹配点的连线应平行于水平轴。但由于摄像头硬件不可能 完全平行及拍摄时的畸变 不能平

平 。

配

X

导致匹配 与 平 的

的连线 作为

=^^

槡m2 1y2

(14)

算法还添加了双向匹配，图片中由于左右相机的视角 不同使得部分点存在重叠遮挡现象及低纹理现象，导致误

筛选条件，即匹配对向量与轴方向的夹角心如图3

• 716 •

计算机工程与设计2019 年

匹配，利用匹配点的左右一致特性，对特征点进行双向匹 配，即从左到右匹配完成后，再从右到左匹配一次，以消 除其重叠遮挡点及低纹理现象，为再匹配提供更加准确的 位置信息。

粗匹配过程如下：

(1)将与特征点々的描述子相似度达80%以上的点放 人集合A中。

之间，在满足描述子相似度的点不止一个时，选取u最大 的点作为正确匹配点确定搜索范围一定程度上减少了由于 重复纹理，和由像素点邻域内图像结构相似带来的匹配误 差，不仅提高了匹配的准确度，只在搜索范围内寻找匹配 &一 程

高 搜

。

再匹配过程如下：

$)对粗匹配集合A进行匹配向量的统计，找到大部 $)求特征点，与待匹配点$ A)的匹配对向量^ 与

x

轴的方向余弦COS&$)将

max( | cos^ | )

作为匹配点。

$)将匹配完成的点剔除待匹配点集合，避免一点对 多匹配。

$)匹配完成后，匹配图与待匹配图调换，重复上述 程 双向 配。

$)提取双向匹配后相同点集作为粗匹配点集A,粗

配

。

2.3基于匹配向量的再匹配

实验验证粗匹配能够实现匹配，但正确率还不能满足 系统要求，所以继粗匹配后需要进行再匹配以提高匹配精 度。粗匹配中提到的匹配向量完\"（：^,&,),将匹配图与 待匹配图放人同一坐标系中，则^的意义为带方向的匹配 连线，其中u, i为水平视差，|

|为垂直视差，其符号表

征其方向。由于双目视觉系统的结构决定两幅图中所有正 确匹配点对的连线理论上应该平行并且平行与水平方向（x 轴），即垂直方向没有视差（I I =

〇),而其水平视差也应

在一定视差范围内（Jmrn互平行]^/

H

：。但在实际过程中，往往需要对图片校正

才能达到大部分匹配点没有垂直视差，且

Hams角点检测

对角点的定位也可能造成匹配时的垂直视差，所以垂直视 差上容许匹配点有±2的误差。无论有无垂直视差，所有 向量的指向应该相同，用的符号来表征方向，则向 量坐

号应 同。

根据上述分析，对粗匹配集合中的匹配向量进行统计， 得出大多数匹配点的方向（即匹配向量坐标的符号）并认 为其为正确匹配方向，将不符合匹配方向的点剔除粗匹配 集合A。对粗匹配集合中剩余点求取平均值士 ^,为了使结 果更加准确，将u

，M中的最大值最小值剔除后再求

平均值

i=1u, $ A(15)y $ T

(16)

根据所求二5来确定水平视差和垂直视差的范围，再 利用特征描述子进行筛选，完成再匹配。设正确匹配点的搜索范围在u,$ $ —

+

分 配向量 号 同的 配

& 为其为

的 配

置关系，将所有错误匹配点剔除粗匹配集合。

$)通过剔除错误点后的粗匹配集合A中的匹配向量 确定搜索范围。对所有匹配向量中的u,：y,求平均值U，>

搜 范围u, $ (!

,u

十 )，y,. $ (y — 2,y 十 2)

$)对图像中所有特征点按搜索范围进行重新匹配。 在搜索范围内，且特征描述子相似度大于阈值的点以其水 平时差最大点认为是正确匹配点对。

$)将匹配完成的点剔除出待匹配的特征点集中，不免一 多 ，

高 配

。

(5)完成再匹配，得到匹配点集。

3实验仿真

为验证所提算法的可用性，进行了相关实验仿真。实

验选取双目摄像头开发板，电脑为sm7系统，仿真平台采 用

MATLAB

2013a进行仿真。

图&为本文所提到的算法匹配的实验结果，图4 $) 是本实验所采用的原图，其中左图采用的是由双目摄像头 开发板拍摄的棋盘图，右图是由MQdlebury立体匹配算法 测试平台提供的标准立体图像对A

rt图片。本

文Harris角

点检测K值设为0. 06，Census变换时选择7 / 7的窗口， 相似度阈值设为80%。用所提算法进行特征点匹配，并用

ORB算法进行对比。图

4 $)是

ORB

算法匹配的仿真图

(只提取前80个匹配点），图4 $)所提算法的粗匹配仿真 图，图4 (d)所提算法匹配的仿真图。

匹配所用时间及数目统计见表1。由仿真结果可以看 出，ORB算法的正确率明显低于本文所改进算法。虽然

ORB算法的特征点较多，但其特征点的簇拥现象十分严

重，很多对配对的携带相似信息，不具参考价值。对于特 征信息简单，只存在大部分重复纹理的棋盘图匹配图效果 显著，匹配正确率达到百分之百。但对于特征信息复杂图 片

Art来说，由于存在很多遮挡现象，由于角度不同造成

的两幅背景与景物位置关系不同，背景信息复杂，单靠

Census变换作为描述子来进行匹配效果还不够好，正确率

只能达到82. 8%。

同时本文所改进算法在特征信息简单的图片效率明显 高于ORB算法，特征信息复杂的图片两种算法相差不大，

第40卷第3期

杨芳，刘大铭，刘晨曦，等：基于Census变换的双目立体匹配算法

• 717 •

(b) ORB算法仿真图(取前80个匹配点)

(c)所提算法的粗匹配仿真图

(d)所提算法仿真图

图4表1

图片棋盘格图

Art图

匹配算法的仿真图

匹配数目以及时间统计

ORB

ORB

本

配数/误匹配数

75/064/11

本

10082. 8

匹配数/误匹配数

80/6580/42

1948

本

平均时间/ms

16.75328.501

ORB平均

/ms

22.50428.512

总体来看，本文所改进算法更能够满足双目系统中的实时 性及准确性。

好的解决。其中角点检测使用Harris角点检测算子与高斯 尺

结 机具体

Harris

检测具有尺度不变性，可

4结束语

本文所改进算法是基于Census变换生成描述子完成粗

以适用于神经网络的相机标定，对图片没有进行校正等不

的场合。虽未经图片校正需在二维方向

与具有快速性的

的有

的搜索，但本

目视觉

效性和实用性。

匹配后，利用双目视觉系统中的匹配点的位置特性进行再 匹配。适用于双目视觉系统中的特征匹配，对于双目视觉 中存在的重复纹理，纹理稀疏，重叠遮挡等问题进行了很

ORB算法得运行时间相近，能够用于实时系统中。通过双

配实验，结果验证了本

• 718 •

计算机工程与设计2019 年

参考文献：

[1] LIN Sen, YIN Xinyong, TANG Yandong. Research status

and prospect oJ binocular stereo matching technology [J], Journal

oJ Science

Technology and Engineering,

2017,

Science Technology and Engineering， 2014, 14 (18)： 106-108 (in Chinese).[许宏科，秦严严，陈会煎.

图像特征点匹配[

106-108. ]

].

基于改进ORB的

科学技术与工程，2014，14 (18)：

[6] ZHAO Jie， ZHANG Xiaoshuai， ZHAO Longfei. Improved

Census transform Jorlocal stereo match [J], Journal of Video Engineering， 2015, 39 (11)： 6-10 (in Chinese).[赵杰，张

17 (30% 135-140 (in Chinese).[林森，殷新勇，唐延东.双

目视觉立体匹配技术研究现状和展望+

2017， 17 (30)： 135-140.]

].

科学技术与程，

[2] CHEN Dongmri. Research oJ stereo matching algorithm based

肖帅，赵茏菲.基于改进Census变换的局部立体匹配算法

[J].电视技术，2015, 39 (1)： 6-10.]

[7] GONG Ping，LIU Xiangbin，ZHOU Peng. Improved Harris

on computer vision [J], Journal oJ Wireless Internet Technolo- gy，2017⑷

：61-62

(in Chinese).[陈冬梅.基于计算机的视 觉立体匹配算法研究[

],无线互联科技，2017⑷：61-62.]

[3] YAO Siyuan， WANG Xiaoming， ZUO Shuri. Fast feature

point matching algorithm based on SURF [J]. Journal oJ Laser h Infrared， 2014， 44 (3)： 347-350 (inChinese).

[亮思远，

王晓明，左帅.基于SURF的特征点快速匹配算法[

].

激光

与红外，2014，44 (3): 347-350.]

[4] Zainal AbedinM，Prashengit Dhar， Kaushik Deb. Traffic sign

recognition using SURF ： Speeded up robust feature descriptor and artificial neural network classifier [C] //9th International Conference on Electrical and Computer Engineering， 2016 ：198-201.

[5] XU Hongke， QIN Yanyan， CHEN Huiru. Feature points

matching in images based on improved ORB [J], Journal oJ

based corner detection algorithm [J], Journal of Computer Engineering and Applications， 2010, 46 (11)： 173-175 (in

Chinese).[龚平，刘相滨，周鹏.

一种改进的Haris角检测

算法[J].计算机工程与应用，2010, 46 (1)： 173-175.][8]

ZHU Shiping， YAN Lina， LI Zheng. Stereo matching algo­

rithm based on improved Census transform and dynamic pro­gramming [J]. Journal of ActaOptica Sinica，2016， 36 (4)： 2-4 (inChinese).[祝世平，闫利那，李政.

基于改进Census

变换和动态规划的立体匹配算法[].

光学学报，2016, 36

(4)： 2-4.][9]

LEI Lei， ZHENG Jiangbin， SONG Xuemei.

Improved Census

transform for stereo mathing [J], Application Research of Computer， 2013， 30 (10)： 3185-3188 (inChinese).[雷嘉，

郑江滨，宋雪梅.基于改进Census变换的立体匹配算法[]. 计算机应用研究，2013，30 (0)： 3185-3188.]