结构光测量系统的标定方法综述

刘顺涛;骆华芬;陈雪梅;徐静

【摘 要】结构光测量技术具有无接触、测量速度快、测量精度较高且成本较低等优点而被广泛应用到各个领域.结构光测量系统的精度取决于系统标定精度.综述了结构光测量系统的现有标定方法,即基于矩阵变换的摄影测量法、基于几何关系的三角测量法和多项式拟合法.摄影测量法可以进一步分为伪相机法、逆向相机法和光平面法.从误差扩散、对投影仪标定的依赖性、精密辅助标定装置、操作复杂度等方面对上述标定方法进行了对比.指出标定方法的研究趋势是从实验室方法向现场标定技术的转变,要求标定装置简单、标定过程便捷、标定时间快速且精度高. 【期刊名称】《激光技术》 【年(卷),期】2015(039)002 【总页数】7页(P252-258)

【关键词】测量与计量;结构光;标定;误差 【作 者】刘顺涛;骆华芬;陈雪梅;徐静

【作者单位】成都飞机工业(集团)有限责任公司制造工程部,成都610092;清华大学机械工程系,北京100084;成都飞机工业(集团)有限责任公司制造工程部,成都610092;清华大学机械工程系,北京100084 【正文语种】中 文 【中图分类】TN247

Key words:measurement and metrology; structured light; calibration; error E-mail:***************

基于结构光的3维测量系统是一种利用特定光源照射目标形成人工特征，由摄像机采集这些特征进行测量的系统。通过编码可以使光源投射出的图案具有特定结构(投射光被称为结构光)。基于结构光的3维测量系统主要由投影仪(或光栅机)、摄像机和计算机组成。测量时，投影仪将一定相位编码的结构光图像投射到被测工件表面，结构光图像会因为被测工件的表面高低不同而发生畸变，摄像机捕获变形的结构光图像，并利用三角测量法求解出工件表面的3维形状和轮廓。根据投射图像的不同，可以分为点结构光[1]、线结构光[2]、多线条结构光[3]、面结构光[4-5]。其中面结构光通过空间编码、直接编码和时间编码等策略[6-7]可以快速地获得整个工件的表面3维形状，具有更高的测量速度与测量效率而被越来越广泛地应用。本文中仅讨论面结构光，以下结构光均指面结构光。基于结构光的测量方法以其结构简单、图像处理容易、实时性强及精度较高等优势在逆向工程[8]、磨具设计[9]、工业检测[10]、质量控制[11]、文物保护[12]、医学成像[13]、农业测绘[14]、水下探测[15]等领域取得了广泛应用，近年来随着技术的发展，结构光进一步实现了对反光物体[16]、动态目标的测量[17]，这为结构光提供了更广阔的应用前景。

利用基于结构光的3维测量系统实现3维测量的核心在于，求解物体上任意一点的3维信息关于摄像机采集到图像像点和投影仪投射的结构光图案的函数，该函数涉及的系统参量包括摄像机坐标系与世界坐标系之间的变换矩阵、投影仪与摄像机光心的位置等。对这些参量进行求解的过程称为基于结构光的3维测量系统的标定。结构光测量系统的标定精度对系统的测量精度具有决定性的作用。 多年来人们针对传统的结构光测量系统标定进行了大量研究。目前，已有的基于结构光的3维测量系统的标定方法主要有三大类：基于矩阵变换的摄影测量法、基

于几何关系的三角测量法和多项式拟合法。第1类方法将投影仪视为逆向相机或伪相机，通过建立投影仪图案和相机图案的对应关系将投影仪的标定转化为成熟的相机标定，从而将结构光3维测量系统转换为经典的双目视觉系统。第2类方法基于系统的几何关系建立工件高度与相机像素点、放置工件前后像素点相位差、表征系统构造的参量(如基线长度等)之间的关系式，通过对不同深度平面的多次测量拟合出各构造参量。第3类方法则假设工件深度(或深度的某种形式)可用放置工件前后像素点相位差(或相位差的某种形式)的多项式表示，通过对不同深度平面的多次测量拟合出多项式的各项系数。

基于矩阵变换的摄影测量法是建立在小孔成像的基础上。在摄影空间里，对于成像平面上的任意一点(u,v)可以找到对应的瞄准线Lc，Lc过景物点P。如果能够对称地找到P在投影仪成像平面中的“图像”(i,j)，进而找到其对应的瞄准线Lp，或者找到从投影仪中投射出的光平面方程，就可以利用线线相交或者线面相交求出P的3维坐标，如图1所示。除了要对摄像机内外参量进行标定外，前一种思路需要完全标定投影仪的内外参量，而后一种思路则要对投影仪投射的光平面方程进行标定。基于矩阵变换的摄影测量法进一步分为伪相机法、逆向相机法和光平面法3种，其中前两种方法需要对投影仪的内外参量进行完全标定，而后一种则直接着眼于对各投影条纹对应的光平面方程进行计算。

为实现投影仪内外参量的标定，一些学者将投影仪看作伪相机，借助摄像机生成景物在投影仪成像平面中的虚拟图像，进而用标定摄像机的方法对投影仪进行标定，此过程的关键在于虚拟图像的生成。

ZHANG和HUANG[18]借助相移编码的特性逐一寻找投影仪成像平面与摄像机成像平面中的匹配点。该方法用投影仪向标定板先后投射两组横向、纵向的相移编码图案并用摄像机采集图像，通过图像分析，获得摄像机中任意像素对应于投影仪成像平面中的像素。如此，即可建立从摄像机图像像素到投影仪成像平面像素的映射。

这样，就可将摄像机采集到的任意图像翻译到投影仪中，生成投影仪中的虚拟图像。此方法的优点在于投影仪的标定与摄像机的标定相独立，不会产生摄像机参量标定误差的二次传播；缺点是只适用于相移编码等连续条纹，图案匹配精度有限。LEGARDA-SAENZ和BOTHED等人[19]也采取类似思路进行标定。LI和SHI等人[20]在参考文献[18]中提出的借助虚拟图像对投影仪进行标定的方法的基础上增加了标定环节，减小了摄像机与投影仪图像匹配过程中误差，但该方法需要投射25幅图像，影响测量速度。参考文献[21]中则利用仿射空间中直线的交比不变性与对极几何的性质解决投影仪虚拟图像的问题。GAO和WANG等人[22]提出借助红-蓝棋盘格法求解摄像机图像与投影仪图像之间的单应性矩阵，进而建立二者图像之间转换关系的方法，受单应性矩阵的精度影响，该标定方法的精度不高。 另外一些学者则将投影仪视为逆向相机，借助已标定的摄像机建立投影仪像素与景物点3-D坐标之间的对应关系，再用计算摄像机参量的方法计算出投影仪的内外参量。

FALCAO和HURTOS等人[23]用投影仪向标定板的空余处投射参考图案，如图2所示。用摄像机拍摄整个标定板在几个不同位姿处的图像，先利用各图像中的实物棋盘格成像信息标定出摄像机的参量，恢复出各图像对应的标定板平面在摄像机坐标系下的方程，再利用摄像机参量求得参考棋盘格角点在摄像机中的图像坐标的瞄准线，线面相交得到参考棋盘格角点的3-D坐标。对投影仪参量的后续计算方法同摄像机内外参量求解过程。

确定光平面的最基本的思路有两种：寻找落在光平面上的多个不共线的点(多点法)，或找到落在光平面上的两条不重合的直线(两线法)。

多点法的关键在于获取落在光平面上的特征点，通常借助仿射空间中直线的交比不变性实现。HUYNH与OWENS等人[24]借助具有4组共线的精确坐标已知控制点的3维靶标求解出光平面的逆投影矩阵。ZHOU和ZHANG[25]以及

YAMAUCHI和SAITO等人[26]借助平面靶标实现标定，WEI和CAO等人[27]将标定靶标进一步简化为1-D靶标。以上方法的缺点在于，该标定过程必须对投影仪投射的光条纹逐个进行，标定过程特别费时。WEI和LI等人[28]提出了一种只对两个光平面进行标定，其它光平面在此基础上推导得出的简化方案。该方案可以节省测量时间，但标定精度较低。

两线法则通过光平面与两个不同平面的交线在摄像机中的成像计算光平面的方程。XIE和ZHU等人[29]借助图3中所示的垫块作为辅助标定物，垫块高度H已知。对摄像机内外参量进行标定后，用投影仪投射光平面，并将垫块置于能被光平面照到的位置，光平面与靶平面(z=0)及垫块上表面(z=H)相交得到线段L1，L2。通过摄像机图像中落在L1,L2上的像素点坐标及摄像机的内外参量可计算得到两线段在世界坐标系内的直线方程，进而确定光平面的平面方程。此外，BOUGUET和PERONA[30]提出了一种通过确定落在光平面上的两个特征点的世界坐标以及光源位置实现对光平面的标定。此方法实现简单，但标定精度不高，仅适合于日常娱乐等场合。

与光平面类似，LUO和XU[31]将投影仪发出的光线仅视为空间不变的向量而不直接求解其方程，借助两个或多个参考平面获得落在该向量上的特征点以获得确定投影仪瞄准线所需的充分条件。测量过程中，只需利用待测物表面的对应点与上述特征点在摄像机中的成像点之间的共线关系，就可以实现对待测物3-D坐标的求取。整个标定和测量过程不涉及投影仪的任何参量。因此，该标定方法成功摆脱了对投影仪标定的依赖，避免了扩散光平面法实际上由此导致的摄像机标定误差。 伪相机法可以理解为已知景物点3-D坐标(x,y,z)寻找其在投影仪图像中对应的像素点坐标(i,j)的过程，其优点在于：寻找(i,j)的过程不需要知道摄像机的内外参量，故投影仪的标定不依赖于摄像机的参量，避免了摄像机标定误差的传播。缺点是由于投影仪本身制造精度低于摄像机，采用小孔成像对其进行描述会带来几倍于摄像机

的误差，影响系统的标定精度。逆向相机法可以理解为已知投影仪图像中的像素点坐标(i,j)寻找相应的景物点3-D坐标(x,y,z)的过程，由于(x,y,z)需要借助摄像机的参量获得，因此投影仪的标定过程对摄像机的标定参量依赖性强，导致误差二次传播，最终导致系统测量精度不高。光平面法普遍依赖于摄像机参量且该方法只对线移编码方式有效，标定过程耗时长。

综上所述，基于矩阵变换的摄影测量法的主要缺点是投影仪的标定过程依赖于摄像机标定参量，从而造成摄像机标定误差的扩散；优点是该类标定方法普遍对系统的安装无特殊约束，设备安装与系统标定过程比较操作简单。鉴于投影仪模型较摄像机复杂，采用小孔成像模型对其进行描述会引入较大误差，为了避免对投影仪的直接标定引起的误差，一些学者尝试借助几何关系对系统进行描述。

一些学者提出根据系统的几何关系建立景物点3-D坐标与系统的少数几个参量之间的数学表达式，作为标定与测量的数学模型，这类方法被称为基于几何关系的三角测量法。

SANSONI等人[32]提出的标定方法原理如图4所示，采用格雷相移法产生编码图案。该系统中基线PC与参考平面平行，摄像机的光轴垂直于参考平面。世界坐标系的原点设在投影仪光轴与参考平面的交点上，x轴、z轴的定义如图中所示。基线长度为d，基线到参考平面的距离为L，投影仪光轴与z轴成α角。不摆放待测物时，投影仪发射的瞄准线PA经路径AC到达摄像机成像平面形成像点的横坐标为Px(j*,k)；放置待测物后，PA经路径BC到达摄像机成像平面形成像点横坐标为Px(j,k)。由△AHB与△PHC的平行关系有：

式中,，是线段AB在参考平面R上的距离。xA，xB可由对应的条纹编码lPA,lPB及系统的参量确定：

由(1)式、(2)式可得到zH(x,y)关于L,d和α表达式。d的值事先经过精确测量得到，视为已知，L与α用数值法计算得到。该方案的主要不足在于对设备安装存在的严

格约束，导致安装困难。

HU和HUANG等人[33]提出的标定方法需要对9个参量进行标定，该方法对设备的安装要求更加苛刻，不易实现。JIA和ZHANG等人[34]提出了一种对摄像机与投影仪的安装无特殊要求的数学模型，需要标定的参量包括摄像机与投影仪的焦距fc和fp，基线长度d，以及摄像机与投影仪光轴与世界坐标系中x轴的夹角θc，θp，其中后3个参量标定困难。为了提高测量精度，XU和XI[35]针对每一个投影仪与相机的像素对应关系分别标定参量，避免镜头畸变带来的误差。

综上所述，基于几何关系的摄影测量法的主要优点是避免了对投影仪参量的标定，其主要缺点是：标定过程复杂、耗时长；系统模型过于简化而导致的精度偏低；投影仪与摄像机光轴平行、投影仪光心-摄像机光心连线平行于基准面等约束造成设备安装困难。

虽然目前对大部分学者采用小孔成像模型作为摄像机的数学模型，但这种做法仍然存在一定误差，为了避免这种误差，一些学者直接着眼于用多项式法对系统数学模型进行研究，而非对摄像机、投影仪做具体标定。

多项式拟合法多针对采用相移编码的测量系统，该方法假设待测物的3-D坐标可用其在摄像机图像中对应像素处的相位(或者相位的某种形式)的多项式表示，继而通过实验确定多项式的参量，直接建立摄像机图像的2维坐标到景物点的空间3维坐标的映射。

LENDRAY等人[36]假设景物点的坐标(x, y, z)可由其对应的像素坐标(i,j)及(i,j)处的相位φ的多项式表示：

按照(3)式提出的数学模型，为获得三次多项式的系数，需要确定57个系数。要获得较高精度，须将多项式次数至少提高到4次，待标定系数相应地增至102个参量，标定工作量大、耗时严重。LIU等人[37]通过推导得到数学模型如下：

该模型需要标定17个参量，标定过程中需要用到精密的平移装置并要反复测量标定板在z方向的位置。要获得z关于的5次多项式，须将标定板先后移动到21个不同位置处进行测量，耗时严重。TAVARES等人[38]根据实验经验提出高度值与相移之间的线性模型：

通过获取参考平面R1(z=0)以及将参考平面旋转一定角度后得到的斜平面R2图像上的相位分布，经过最小二乘法拟合出系数ε,λ。此方法简化了操作过程，但测量精度相对[27]有所下降[29]。ANCHINI等人[39]在上述模型的基础上，通过将平板放置于如图5所示的3个不同位置，简化了Δφ(x,y)的计算过程。VARGAS和QUIROGA等人[40]提出先标定摄像机参量，然后计算标定板在相机坐标系下的方程，变换板的位置，拟合出高度与相位之间的多项式。该方法需要将标定板先后移动9次，且要求对应的深度信息精确已知，标定过程复杂。

为了提高标定精度，XU和DOUET[41]提出了一种基于圆球的多项式拟合方法，该方法在标定精度、标定效率方面均有提高。

总体而言，多项式法的优点在于避免了对摄像机及投影仪具体参量的标定，并且对系统的安装无特殊要求。其缺点在于：标定过程需要特殊的硬件辅助设备(如特殊的平移装置等)，成本高且辅助设备的精度会直接影响系统的标定精度；要获得高精度须采用复杂模型，相应的标定过程复杂、耗时长。

通过以上分析对各标定方法的特性进行汇总，结果如表1所示。

摄影测量法和三角测量法采用小孔成像模型作为摄像机的数学模型，二者的不同在于：前者将投影仪模型近似为小孔成像模型，后者则直接利用几何关系实现对投影仪的描述。与前两种方法不同，多项式法不直接探讨摄像机与投影仪的数学模型，而是直接利用数学拟合方法对图像条纹位移与景物点高度之间的函数关系进行研究。三角测量法与多项式拟合法由于需要借助于高精度的辅助设备，标定成本高且操作复杂，不适合在实验室以外的环境下工作。从标定精度上分析，摄影测量法的主要

误差来源有两个：(1)投影仪内外参量或光平面标定过程对摄像机参量的依赖，造成摄像机标定误差的扩散；(2)投影仪本身引起的标定误差——由于投影仪的镜头畸变较摄像机严重且模型复杂，即使其标定过程不依赖于摄像机的参量，标定精度也总是低于摄像机的标定精度。将投影仪视为伪相机的方法消除了第1个误差源，但要保证标定和测量精度须采用连续条纹编码(如相移编码)，造成每次测量需要的图像数量大。只标定光平面的方法虽然避免了对投影仪的显性标定，但由于特征点3维坐标的求取过程对摄像机标定参量的依赖性强，摄像机标定误差扩散严重。 结构光测量系统在3维测量领域中具有良好的发展前景，研究针对结构光测量系统的标定方法具有重要的实际应用价值。作者将已有的标定方法分为三大类：基于矩阵变换的摄影测量法、基于几何关系的三角法和多项式拟合法。基于几何关系的三角测量法与多项式法分别存在对系统的安装约束性强、标定过程复杂等特性，导致其只适用于实验室环境下；而基于矩阵变换的摄影测量法具有对系统安装无特殊要求、操作相对简单等优点，对除实验室以外的环境具有较强的适应能力，但其标定方案普遍需要对投影仪进行标定，造成摄像机标定误差的扩散，影响标定精度。因此，避免投影仪标定具有标定精度高、设备易安装、标定过程简单等特性的标定方案是未来的研究目标。

[1] WANG L, BO M, GAO J, et al. Fast 3-D surface information acquisition based on smart camera. Laser Technology, 2006, 30(6): 657-660(in Chinese).

[2] GAO Sh Y, YANG Y Q, YANG K Zh. Defect detection of laser welding seamof unequal-thickness blank baed on structured light vision.Laser Technology, 2011, 35(4): 440-443(in Chinese).

[3] ZHANG Q C, SU X Y, ZOU X P. Calibration of 3-D measurement system using multi-sensor with line structured-illuminated laser.Laser Technology,

2005, 29(3): 225-232(in Chinese).

[4] XIAO Y Sh, SU X Y, ZHANG Q C, et al. 3-D surface shape restoration for the breaking surface of dynamic process.Laser Technology, 2006, 30(3): 258-261(in Chinese).

[5] CAO S P, WANG W F, XUE X Ch. Dynamic 3-D shape measurement based on de-interlaced images by Fourier transform.Laser Technology,2013, 37(6):736-741(in Chinese).

[6] CHEN Y J, ZUO W M, WANG K Q, et al. Survey on structured light pattern codification methods.Journal of Chinese Computer Systems, 2010,31(9): 1856-1863(in Chinese).

[7] SALVI J, FERNANDEZ S, PRIBANIC T, et al. A state of the art in

structured light patterns for surface profilometry.Pattern Recognition, 2010, 43(8): 2666-2680.

[8] PARK S C, CHANG M. Reverse engineering with a structured light system.Computers & Industrial Engineering, 2009, 57(4):1377-1384. [9] SHI Y S, LI Zh W, ZHONG K, et al. Structure light 3-D measurement technology and its application in mould & die design and

manufacturing.Aeronautical Manufacturing Technology, 2009, 20: 48-50. [10] ZHANG J Q, ZHENG L. 3-D surface reconstruction of irregular industrial sheetmetal parts based on structure illumination.Geospatial Information, 2004, 2(6): 9-10(in Chinese).

[11] HE Z R, CAI Y B. Experimental research of broken sheet metal surface reconstruction based on structure light.Research and Exploration in Laboratory, 2010, 31(10): 28-32(in Chinese).

[12] WU X Q, FENG L F, HUI Y B, et al. Digital method of cultural relics based on measuring of structured light.Machinery Design & Manufacture, 2009(9):212-214(in Chinese).

[13] XIONG Y Y, CHEN X B, SUN J, et al. Development of three dimensional facial measurement system based on structured light projection.Journal of Shanghai Jiaotong University(Medical Science Edition), 2009, 29(7): 837-841(in Chinese).

[14] LI Z N, CHEN Zh X, WANG L M, et al. A measuring method of soil surface roughness using infrared structured light 3-D

technology.Transactions of the Chinese Society of Agricultural Engineering, 2013,29(21):137-142(in Chinese).

[15] LI Q，HE D G，LI X. A study on visual measurement method based on underwater 3-dimension structured light.Journal of Dalian Ocean University, 2012, 27(6): 583-586(in Chinese).

[16] WU L J, LIU G H, LIU X Y, et al. Shiny surfaces measurement based on structured light system.Tool Engineering, 2011,45(3): 88-92(in Chinese). [17] ZHANG Q C, SU X Y, CAO Y P, et al. Three-dimensional shape

measurement for rotating blade using stroboscopic structured illumination. Acta Optica Sinica, 2005,25(2): 207-211(in Chinese).

[18] ZHANG S, HUANG P S. Novel method for structured light system calibration.Optical Engineering, 2006, 45(8): 083601.

[19] LEGARDA-SAENZ R, BOTHE T, JUPTNER W P. Accurate procedure for the calibration of a structured light system. Optical Engineering, 2004, 43(2): 464-471.

[20] LI Z, SHI Y, WANG C, et al. Accurate calibration method for a structured light system. Optical Engineering,2008, 47(5): 053604.

[21] GAO W, WANG L, HUA Y. Flexible calibration of a portable structured light system through surface plane.Acta Automatica Sinica, 2009, 34 (11): 1358-1362(in Chinese).

[22] GAO W, WANG L, HU Z. Flexible method for structured light system calibration.Optical Engineering, 2008, 47(8): 083602.

[23] FALCAO G, HURTOS N, MASSICH J. Plane-based calibration of a projector-camera system.New York,USA:VIBOT Master,2008:9.

[24] HUYNH D Q, OWENS R A, HARTMANN P. Calibrating a structured light stripe system: a novel approach.International Journal of Computer Vision, 1999, 33(1): 73-86.

[25] ZHOU F, ZHANG G. Complete calibration of a structured light stripe vision sensor through planar target of unknown orientations.Image and Vision Computing, 2005, 23(1): 59-67.

[26] YAMAUCHI K, SAITO H, SATO Y. Calibration of a structured light system by observing planar object from unknown viewpoints//Pattern Recognition, 2008 ICPR 19th International Conference.New York,USA:IEEE,2008:1-4.

[27] WEI Z, CAO L, ZHANG G. A novel 1-D target-based calibration method with unknown orientation for structured light vision sensor. Optics & Laser Technology, 2010, 42(4): 570-574.

[28] WEI Zh Q, LI J T, JI X P, et al. A calibration method based on multi-linear structured light.Procedia Engineering, 2010,7:345-351.

[29] XIE Z X, ZHU W T, ZHANG Zh W, et al. A novel approach for the field calibration of line structured-light sensors.Measurement, 2010, 43(2): 190-196.

[30] BOUGUET J Y, PERONA P. 3-D photography on your desk//Computer Vision, Sixth International Conference.New York,USA:IEEE,1998:43-50. [31] LUO H F, XU J, BINH N H, et al. A simple calibration procedure for structured light system.Optics and Lasers in Engineering, 2014, 57(1): 6-12. [32] SANSONI G, CAROCCI M, RODELLA R. Calibration and performance evaluation of a 3-D imaging sensor based on the projection of structured light.IEEE Transactions on Instrumentation and Measurement, 2000, 49(3): 628-636.

[33] HU Q, HUANG P S, FU Q, et al. Calibration of a three-dimensional shape measurement system.Optical Engineering, 2003, 42(2): 487-493. [34] JIA X, ZHANG Z, CAO F, et al. Model and error analysis for coded structured light measurement system.Optical Engineering, 2010, 49(12): 123603.

[35] XU J, XI N, ZHANG C, et al. Real-time 3-D shape inspection system of automotive parts based on structured light pattern.Optics & Laser Technology, 2011, 43(1):1-8.

[36] LEANDRY I, BREQUE C, VALLE V. Calibration of a structured-light projection system: development to large dimension objects.Optics and Lasers in Engineering, 2012, 50 (3): 373-379.

[37] LIU H, SU W H, REICHARD K, et al. Calibration-based phase-shifting projected fringe profilometry for accurate absolute 3D surface profile

measurement.Optics Communications, 2003, 216(1/3): 65-80.

[38] TAVARES P J, VAZ M A. Linear calibration procedure for the phase-to-height relationship in phase measurement profilometry. Optics Communications, 2007, 274(2): 307-314.

[39] ANCHINI R, di LEO G, LI G R C, et al. A new calibration procedure for 3-D shape measurement system based on phase-shifting projected fringe profilometry.IEEE Transactions on Instrumentation and Measurement,2009, 58(5): 1291-1298.

[40] VARGAS J, ANTONIO Q J, JOSE TERRON-LOPEZ M. Flexible calibration procedure for fringe projection profilometry.Optical Engineering, 2007, 46(2): 023601.

[41] XU J, DOUET J, ZHAO J G, et al. A simple calibration method for structured light-based 3-D profile measurement.Optics & Laser Technology, 2013, 48(5): 187-193.