首页 >> 解决方案 >>行业解决方案(àn) >> 双眼(yǎn)可以测距和建立立体(tǐ)环境,双摄像头(tóu)可以吗?
详细内容

双眼可以测距和建(jiàn)立(lì)立体环境,双(shuāng)摄像(xiàng)头可以吗?

答(dá)案是可以!

这方(fāng)面一直是(shì)计算机视觉的研究热(rè)点,并且(qiě)已经有了不错的(de)成果!本人(rén)研(yán)究生阶段主要做三维(wéi)重建(jiàn),简(jiǎn)单写一些(xiē)自己所(suǒ)了解的。

首先(xiān)三维和二(èr)维的区别,这个大家都容易理解,二(èr)维只有x、y两个(gè)轴(zhóu),比如一张(zhāng)素描画,我们整体的感觉是“平”的,而三(sān)维(wéi)则是多了一个(gè)z轴的维度,这个z轴的直(zhí)观理解就是(shì)点离我们的(de)距离,也(yě)即(jí) “depth(深度)”。

再来(lái)看看我(wǒ)们人眼,人眼是一个(gè)典型的双目系统(tǒng),大家可以做个小实验(yàn):闭上(shàng)一只(zhī)眼(yǎn)睛,然(rán)后左右手分别拿着一只笔,试着让笔尖相碰,哈哈,是不是有怀(huái)疑人生的感觉? 我们分别(bié)用左右眼看同一(yī)个物体,可以清(qīng)楚地感觉到图像的差异,这个差异就是我们形(xíng)成三维视觉的基础,有了这左右眼图像的差异,配合(hé)大脑强大的识别匹配能力,我们就(jiù)能基本(běn)确定物体离我们的(de)距(jù)离,也即之前说(shuō)的"深度",上个实(shí)验中我们只(zhī)睁(zhēng)开一只眼睛,虽然能(néng)清楚的看到左(zuǒ)右手中的笔,但是大脑没(méi)法得出深度信(xìn)息,所以你在(zài)“上下左右”方向上(shàng)能准确定位,但是“前后”方(fāng)向(xiàng)上却无能为力。

现在来(lái)说说左右图像的“差异”到(dào)“深(shēn)度”的转换,这里可能需要一点点空间(jiān)几何知识,其实也很简单(dān)

1.jpg

物体上的(de)点p12分别对应(yīng)左右(yòu)图像上(shàng)点(diǎn)p1和p2,求(qiú)解p1、p2、p12构成的三角形,我们就能得到点p12的坐标,也就能得(dé)到p12的深度。这(zhè)个计(jì)算对于人(rén)脑来说是小case,我们更(gèng)多地依赖经验(yàn)和强大的脑补(bǔ)能力,虽然我们(men)不能计算出某(mǒu)个物体离我们的(de)精确距离,我们却(què)能非(fēi)常准确地建立物体距离的相对关系,即哪(nǎ)个(gè)物体在前(qián),哪(nǎ)个在后,这(zhè)对日常生活已经足(zú)够了。

而(ér)我们(men)做(zuò)工(gōng)程上的(de)双(shuāng)目(mù)视觉三维重建,核心目(mù)标就是(shì)解上图所示的(de)三(sān)角(jiǎo)形,相机可以抽象成(chéng)一个简单的(de)透视系统:

2.jpg



空间(jiān)点p经过相机成(chéng)像,映射到图像上点(x,y),其中Oc是(shì)相(xiàng)机光(guāng)心,WCS、DCS、ICS分别是世界坐标系、设备(相机(jī))坐标系、图像坐标系。空间点p到相机图像上点的(de)几何变换可以用相机(jī)内参来描述,具体公式就不说了,可(kě)以简单地理解(jiě)为相(xiàng)机拍照是对点的几何坐标变(biàn)换(huàn),而相机内参就(jiù)是决定这个变换(huàn)的一些参数。

继续看之前的光学三角关系图,O1、O2分(fèn)别是左右(yòu)相机的光心(xīn),现在我们要做的就是确定这两个相机(jī)的相对位置关系(xì):可以用旋转矩阵R和(hé)平(píng)移(yí)向(xiàng)量(liàng)T来描述,确定了R和T,两个相(xiàng)机(jī)的位置关(guān)系就确(què)定(dìng)了,这个步骤(zhòu)叫做相机的外参标定。一般(bān)的做法是用三(sān)维重建的逆(nì)过程来做,即由一(yī)系列已知的(de)p1、p2和p12来求(qiú)解光学三角(jiǎo)形,估计出最优的R、T。简而(ér)言之(zhī),外参标定确定相机(jī)之(zhī)间的相对位置关系。

好(hǎo)了,现(xiàn)在我们(men)只需要知道p1、p2的坐(zuò)标,我们就能轻松算出(chū)p12的坐标(biāo),完(wán)成三维(wéi)重建。我们把p1、p2称为一个点(diǎn)对(duì)(pair),他们(men)是同一个空间点在不同相机中的成像点。寻找这样的(de)点对的(de)过(guò)程称为立体匹配(pèi),它(tā)是三维重建最关键,也可以(yǐ)说是最难(nán)的(de)一步。我们都玩过“大家(jiā)来找茬”,找的是两幅图的不同点,而立体(tǐ)匹配则是找“相同点”。对人脑来说(shuō),这(zhè)个问题(tí)太easy了,给你同一个物体的两(liǎng)幅图,你能轻松找出(chū)一副(fù)图像上的点(diǎn)在(zài)另一幅图像中的对(duì)应点,因为我们人(rén)脑的物体识别(bié)、分割、特(tè)征提取等等(děng)能力实在太(tài)强了,而且性能特别高,估计几岁的小孩(hái)就能秒杀现有的最(zuì)好(hǎo)的(de)算法。

常规的匹(pǐ)配算法(fǎ)一般通过特征点来做,即分别(bié)提取左(zuǒ)右(yòu)图像的特征点(常用sift算(suàn)法),然后基(jī)于特征点(diǎn)配合对极几何等约束条件进行匹配。不过这类匹配算法精度都不是太高,所(suǒ)以人们又想了(le)其它一些方(fāng)法来辅助匹配,结构(gòu)光方法是(shì)目前(qián)用的比(bǐ)较多的,原理不难理(lǐ)解,就是向(xiàng)目(mù)标物体投(tóu)射编码(mǎ)的光,然后(hòu)对相(xiàng)机图像进(jìn)行解码,从(cóng)而得到点对,举个简单的例子,我(wǒ)们把一个小方块的图(tú)案用投影仪投到物(wù)体表面,然后识别左右相机(jī)图像中(zhōng)的小方块,如果这个小方块很小,看作一个点(diǎn),那么我(wǒ)们就得到了一个(gè)点对。

贴(tiē)个线结构光的(de)示意图:

3.jpg


这(zhè)个(gè)示意(yì)图里面只有一个相机,其实投影(yǐng)仪是可以看作相(xiàng)机的:投(tóu)出(chū)的光图(tú)案照射在物体表面相当于被拍照的物体,而(ér)投(tóu)影仪的输(shū)入图像则相当于相(xiàng)机(jī)拍出来的照(zhào)片,所以投影仪也是当作相机并用同样的方法(fǎ)来(lái)标定内外参,即上图本质上(shàng)也是(shì)双目视(shì)觉系统。

总结一下(xià),双目(mù)视觉三维重建的基(jī)本过程:相机(jī)内参、外参标定 -> 立体匹配 -> 光学三角形(xíng)求(qiú)解,这里面(miàn)最核(hé)心(xīn)、也最影(yǐng)响重建效果(guǒ)的(de)就是(shì)立(lì)体匹配(pèi)。

贴几张本人实验的图(用(yòng)的最基本的格雷码结构光):


4.jpg


以上说(shuō)的都是双(shuāng)目视觉三维重建,实(shí)际上还有其它一(yī)些重建方法,如早期的探针法(fǎ),简(jiǎn)单粗暴,直(zhí)接拿探针(zhēn)在(zài)物(wù)体(tǐ)表面移动,一个点一(yī)个点(diǎn)测(cè)坐标(biāo);还有一(yī)类(lèi)通过直接测(cè)距(jù)来进行三维重(chóng)建,如超声波(bō)、TOF,即对物体表(biǎo)面逐点用声、光程差来(lái)测距(jù),从而得到三维点云;光学方(fāng)法分(fèn)为(wéi)主动和被动两大(dà)类,主动(dòng)和(hé)被动(dòng)指(zhǐ)的(de)是(shì)是否向物体表面投(tóu)光,主(zhǔ)动方(fāng)法有激光扫描、相位测量以及我毕设的研究(jiū)课(kè)题结构光(guāng)方法等,被动方法有单目视(shì)觉(如(rú)阴(yīn)影法)和(hé)上文所述的立体(tǐ)视(shì)差方法等等。

目前还(hái)有一类三(sān)维重建方法非常火(huǒ):SFM(Structure from Motion),这类方法的特点是不需要相机参数,仅仅根据(jù)一(yī)系列图像就能(néng)进行(háng)三维(wéi)重建,也就是说,你随(suí)便拿个手机(jī)对(duì)着物体(tǐ)拍一些(xiē)图(tú)片就能重建这个(gè)物体的三维模型,大家可以去体(tǐ)验下(xià)AutoDesk公司的Autodesk 123D Catch,除了(le)近距离物体的三维重建,SFM还有更激动人心的应用(yòng):大型场景三维重建,感兴趣(qù)的可以看看(kàn)这个Building Rome in a Day,他们在flickr上搜索(suǒ)两(liǎng)百万张罗马的照片,通过亚马逊提供的(de)计算(suàn)服(fú)务(wù),最终得(dé)出整个城市的三维(wéi)模型,是不是又有云计算、大数据的感觉。。。这(zhè)波人貌似有几个是Google Earth团队的。

原理上其实也不(bú)难理解:从特(tè)征点对入手(shǒu),反向求解(jiě)出相机(jī)的内外参(选定一个相(xiàng)机作为世界坐标系),然后重建更多(duō)的点。

大家应该对电影《普罗(luó)米修斯》里面的用于洞穴建模的(de)飞(fēi)行器印象深(shēn)刻:

5.jpg

底部导航
友情(qíng)链接(jiē)
联系方式
公司二维码
扫一扫,添加二维码!

联(lián)系电话:010-34342322

联(lián)系邮箱:XXXXXXXX@163.com

联系地址(zhǐ):北京市XXXXXXXXXXXXXX

微(wēi)信公众(zhòng)号:xxxxxxxxxx

客(kè)服QQ:12345678910

技术支持: 建站ABC | 管理登录
欢迎咨询 seo seo

千亿官网-千亿(中国)一站式服务官网

千亿官网-千亿(中国)一站式服务官网