高速运动物体的“3D影像捕手”

来源:《中国科学报》2019-2-21 赵广立


当前主流技术的成像速度比较慢,均无法做到在线实时的三维检查,或需要将样品置于静止或慢速运动状态才可以进行三维成像,严重限制了工业生产效率。

如何清晰地拍摄一颗破膛而出的子弹?只有一台摄像机显然是不够的,善于捕捉物体三维影像的3D成像技术或许能帮上忙。然而,由于成像速度的限制,当前的3D成像方法也很难记录在极短时间间隔内发生的动态事件。

近日,一支来自清华大学的研究团队研制了一种3D图像采集系统,给解决上述难题提供了一种可行的思路。据该团队负责人、清华大学电子工程系教授陈宏伟介绍说,他们研制搭建的超高速扫描3D成像系统,能以每秒50万帧的帧率录制视频影像,并在速度为25米/秒的运动对象上实现了实时、连续扫描成像的概念验证。

陈宏伟在接受《中国科学报》采访时表示,这套系统有潜力以1毫米的分辨率拍摄速度高达500米/秒的移动物体。目前,他们的研究成果“基于时间编码的单像素3D成像”(TESP-3D)已经在论文预发布平台arXiv网站上公布,该系统的原理设计也已取得相关国家发明专利。目前,麻省理工学院《技术评论》关注并简要报道了应该成果。

科技制高点的竞争

陈宏伟向记者介绍道,广泛用于工业在线检测、生命医学、消费电子等领域的3D成像技术,是各个国家竞相争夺的又一科技制高点,将在未来信息社会中占据重要地位。然而,目前国内大部分3D成像技术从业者多集中于算法和应用层面,缺乏对于底层核心硬件和系统的创新,所使用的许多3D成像系统亦多基于已成熟的硬件平台,核心技术与核心专利多受制于国外。

记者了解到,目前较为常见的高速3D成像技术中,用于主动照明的结构光源、用于捕获图像的图像传感器和用于数字光处理的数字微镜晶片(DMD),大部分市场被国外传感器厂商占领。

陈宏伟和其同事的这项成果有望打破这一局面。《中国科学报》通过采访了解到,该团队历经2年研制并搭建的“超高速扫描3D成像系统”(目前处于工程样机阶段),从原理实现上另辟蹊径,摆脱了核心器件对国外3D成像设备的依赖。该系统不仅具有完全自主知识产权,更在拍摄速度、时间分辨率等性能方面远胜现有系统。

“希望通过我们的努力突破这个短板,完成具有完全自主知识产权的3D成像硬件系统。”陈宏伟对《中国科学报》表示。

另辟蹊径实现两大突破

陈宏伟团队是如何实现突破的?这要从3D成像技术的背景讲起。

目前有两种主要的高速3D成像技术:被动和主动方法。其中被动成像的代表性技术是双目视觉(或称立体视觉),即效仿生物的双眼视物原理,利用数字摄像机的图像传感器(CCD或CMOS)从至少两个不同的视角捕获图像,然后结合两枚图像传感器的位置,根据几何关系测量原理计算出景深。在此方法中,摄像机的帧率和复杂的成像重建过程,通常导致3D成像速率低于每秒1000帧。

相比而言,主动3D成像具有更好的性能。这种方法是使用一个有源投影仪代替立体视觉中的一个数字摄像机,并通过产生编码照明以识别物体表面上的每个点的立体信息。这种方法可缩减计算时间,同时重建精度也会得到改善。

“现有的3D成像技术从硬件配置上来看,比较有前景的是主动照明成像,但它也有两个速度限制:主动照明光的调制速度和成像单元的刷新速度,目前这两点都不可避免地限制着3D成像的帧率。”陈宏伟告诉记者。

陈宏伟团队针对这两个限制进行了改进。他介绍说,在主动照明成像系统中,照明光需要进行调制才能获得物体表面的三维信息(即凹凸起伏等),目前这个步骤主要使用数字微镜阵列(DMD)来实现,速度被限制在几十KHz以下。“我们则采用了一种全新的时域编码技术,突破了这个限制,可以把速度提升至几十MHz以上甚至更高,比DMD快了1000倍以上。”

另外一个限制是CCD成像单元的刷新速度。记者了解到,CCD芯片由一个产生2D图像的光敏像素阵列构成,但CCD芯片的底层技术限制着刷新率,现在的刷新率通常在1KHz以下。

“我们采用的是单点光探测技术,可以实现GHz以上的探测速度。”陈宏伟告诉记者,他们的新方案基于与之前完全不同的底层技术,采用单像素来记录光线,并以每秒50万帧的频率刷新。

如何从单个像素创建图案?陈宏伟解释说,在这个环节中,他们运用了压缩感知技术——像素记录着物体反射的光的大量而连续的测量值,由于照射的光随机变化,这些测量值看上去也是随机的。不过,这些随机的测量值又相互关联,这种相关性正是图像本身。通过对随机测量值的算法处理,重构物体的3D图像。

“压缩感知成像技术并不是我们率先使用的,在其他的成像技术甚至3D成像中也用过。不过,我们是把软件与硬件相结合,通过硬件速度的提升把压缩感知技术利用上,最终实现了整个系统成像速度的提升。”陈宏伟向记者解释道。

尽管要在结构光源内部“动手脚”并对探测器后续的数据做复杂的处理,但从整体上看,陈宏伟团队搭建的这一超高速扫描3D成像系统配置简单明了,硬件上主要包括一个结构照明光源和多个单像素探测器,并不需要高精度大规模的CCD探测阵列。同时,陈宏伟透露,通过对照明系统“简单”的改动以及单像素重建的优化,他们还将进一步提升3D成像系统的速度,“挑战3D成像速度的极限”。

致力实现市场应用

得益于传感器、照明系统以及嵌入式处理技术的长足发展,3D成像技术已经走出学术研究实验室,广泛用于多种机器自动化实践中。然而,在对高速运动物体的3D图像收集方面,市场上的技术产品还存在着很大的局限性。陈宏伟举例说,比如子弹弹道分析,由于子弹的出射速度通常大于300米/秒,并且伴有急速的旋转(高于1000转/秒),这种速度下进行三维成像要求的时间分辨率要达到微秒量级,相当于每秒拍摄20万帧以上的图像,现在的3D成像技术还难以满足要求。

“任何成像系统对于时间分辨率的追求都是无止境的,即便是常见的二维成像,要拍摄如子弹或飞机等高速运动的物体或者诸如爆炸等动态变化的现象都需要高速成像。”陈宏伟说,“3D成像技术作为未来信息社会必不可少的成像手段,高时间分辨率或者说高帧率成像也将成为刚性需求。”

因此,陈宏伟团队把提升超高速扫描三维成像系统的应用性作为未来重要的目标计划。“我们希望针对不同的应用进行参数和系统调整,以适应市场的需求,真正做成商品。”

陈宏伟向记者举例说,工业上的三维成像有着极其广泛的应用,包括工业产品和零件的三维信息扫描、获取制作误差及进行成品测试、对工业产品进行三维建模以利于改进和更新等。“当前的主流技术的成像速度比较慢,均无法做到在线实时的三维检查,或需要将样品置于静止或慢速运动状态才可以进行三维成像,严重限制了工业生产效率。我们的技术可以实现50万帧/秒的线扫描三维成像,相应的生产线速度可以超过100米/秒。”

相关论文信息:DOI:arXiv:1901.04141

编辑:李华山

2019年02月21日 15:11:45  清华新闻网

更多 ›图说清华

最新更新