值得指出的是,在裸眼3D显示技术基础上,现又提出一种真3D立体显示技术,因为人类发展显示技术追求的终极目标是在观察三维影像时,犹如在观察一个真实存在的物体,完全满足人类对真实场景的三维视觉体验,即真3D立体显示技术。相对于当下主流的基于双目视差深度暗示的三维显示技术,真三维显示技术不会造成观看者的视觉疲劳,其显示的图像更加真实,更符合人们的视觉习惯。
目前,被列为真三维立体显示技术的有体三维显示技术、光场三维显示技术、全息三维显示技术、光栅三维显示技术与集成成像三维显示技术5种。
一、体三维显示技术
体三维显示技术是一种基于多种深度暗示的真三维显示技术,它通过特殊方式来激励位于透明显示空间内的物质,利用光的产生、吸收或散射形成体素,并由许多分散体素构成三维图像,或采用二维显示屏旋转或层叠而形成三维图像。由此形成的三维图像如同真实的物体,能满足人的几乎所有生理和心理的深度暗示,可供多人多角度裸视观看,符合人们在视觉观看及深度感知方面的习惯,所以是一种真三维显示技术。
具体地说,体三维显示通过二维图像在空间不同位置的叠加,产生三维空间发光点的分布,从而实现三维显示。该方法可以通过二维平面图像的空间扫描或通过静态的多层平面显示器(如液晶显示面板)的叠合产生体像素分布,由此,体三维显示主要有三种实现方式:动态屏、上转换发光和层屏显示技术,现分述如下。
(1)基于动态屏的体三维显示:基于动态屏的体三维显示,依靠机械装置旋转或移动平面显示屏,利用人眼的视觉暂留效应实现空间立体显示效果。
(2)基于上转换发光的体三维显示:基于上转换发光的体三维显示,使用两束不同波长的不可见光束来扫描和激励位于透明体积内的光学活性介质,在光束的交汇处取得双频两步上转换效应而产生可见光荧光,从而实现空间三维图像的显示。
(3)基于层屏的体三维显示:基于层屏的体三维显示,使用高速投影机将待显示物体的深度截面,连续投射到与显示体相对应的深度位置上,且保证在较短时间(如1/24s)内完成在显示体上的投影成像,其中显示体是由距离观看者远近不同的层屏组成的。利用人眼的视觉暂留效应,观看者可在显示体前方任意位置观看到三维图像。
扫描型体三维显示技术如图1所示,扫描型体三维显示技术的原理是通过平面屏幕绕中心旋转,构建出一个圆柱形空间三维显示的。
图1 扫描型体三维显示技术
静态体的三维显示技术如图2所示,其原理是通过高速投影机把图像投射在层状分布的投影屏幕上,从而形成空间发光点分布的。
图2 静态体三维显示技术
由上可见,体三维显示采用基于重构物体原光点方式,得到的图像是在相应位置真实存在的图像。当人的眼睛聚焦到图像上时,不会产生辐後-聚焦调节的冲突。图像具备运动视差的特性,适于全视场观看,观察者数量也不受限制。因此,这种方式的三维显示效果较好,其缺点是所有的显示点都能被看到,不具备空间遮挡关系,无法显示物体的表面纹理。
二、光场三维显示技术
(1)光场三维显示技术的基本原理。任何物体,不论是自行发光,还是漫射/反射周边其他光源的光,都会在该物体的周围形成自己独特的光场分布,如图3所示。
图3 物体发光的光场
如果能够构建这样一个可进行三维显示的屏幕,它可以重建物体发出的光场(它的出射光线分布与之前的物体是相同的),而人眼会自发地逆向追踪光线,使得观察者依然可以感受到这个三维物体的存在。这就是空间光场三维显示技术的基本原理,如图4所示。
图4 由可三维显示的屏幕所构建的光场
综上,光场三维显示就是在空中再现三维物体的发光光场分布,从而再现出三维景象的。
由于光场包含了物体发光的光线方向,因此具有空间遮挡效应,可以很好地克服体传统三维显示的缺点。
(2)光场三维显示的技术实现。光场三维显示既可以通过高速投影机及屏幕的360°扫描实现,也可以利用投影阵列通过三维光场的空间拼接实现。
通过高速投影机及屏幕的360°扫描实现光场三维显示的原理如图5所示,图中高速投影机投影出不同方向的光线,通过屏幕的旋转,构造出任意方向的光线分布。
图5 通过高速投影机以及屏幕的360°扫描实现光场三维显示的原理
利用投影阵列通过三维光场的空间拼接实现光场三维显示的原理如图6所示,图中投影机投射不同方向的光线,发光点A或B的光线由不同投影机提供,当投影机足够密时,就可以构造出空间的三维图像。
图6 利用投影阵列通过三维光场的空间拼接实现光场三维显示的原理
在光场三维显示中,由于显示的图像和显示的硬件重叠在一起,所以无法实现三维显示场景的悬浮和可探入性。但是,在三维显示的应用中,下面要介绍的基于光场扫描的360°可探入悬浮三维显示系统,就可以增强显示的交互性,从而扩大应用的范围。
基于光场扫描的360°可探入悬浮三维显示系统。基于光场扫描的360°可探入悬浮三维显示系统,是一种典型的光场三维显示技术,它可以增强显示的交互性,扩大应用的范围。基于光场扫描的360°可探入悬浮三维显示系统的结构如图7所示,它可通过特殊的反射屏幕,把光场反射到屏幕的上方,通过高帧频投影机和屏幕的扫描构建出悬浮于屏幕上方的三维显示,图中高速投影机置于系统上方。
图7 基于光场扫描的360°可探入悬浮三维显示系统的結构
基于光场扫描的360°可探入悬浮三维显示系统中光场扫描屏的结构如图8所示,由图可见,扫描屏是一个圆形的反射式定向散射屏,散射屏上的微结构可以使入射光向观察者所在区域偏折,并且在竖直方向上以较大的角度散射,而在水平方向上保持光线方向不变。
图8 基于光场扫描的360°可探入悬浮三维显示系统中光场扫描屏的结构
高速投影机将事先处理过的光场图像同步地投射到高速旋转的光场扫描屏上,经过屏幕转折和散射,重建出360°可视的三维光场,并在屏幕上方呈现出360°可视的悬浮三维物体。
光场绘制技术在计算机图形学领域是一种基于图像的絵制方法,它通过对预采集的场景图像进行组合采集,得到新的任意视点位置的图像。预采集的图像可以是绘制的,也可以是实拍的大量图像,设计者通过这些图像重建光场。光场建立后,可以通过查找、插值和组合等方式提取出正确的光场切片,并实时重建出新的不同位置的视角图像,然后通过再现采样的三维光场,使观察者自然地获取正确的360°视角的图像。
其具体方法是:通过绘制或者实拍的-系列图像来得到多组照片序列(这些拍摄所得的照片即场景光场的切片),然后对三维光场进行预处理,得到适合投影的图像。在确定了视点位置后,从三维光场中查找到该点的辐射度,即从已经获取的该视点位置所拍摄的图像上查找对应的像素值,当预先获取的光场切片数量足够多时,可以从已获取的切片内精确得到或通过相邻视点的视图近似得到各视点视图。像素级别的映射可以确保重构的光场点云足够密集,只不过数据量会十分庞大。
此外,可探入性是基于光场重建的360°可探入悬浮三维显示系统的亮点。利用此特性,人们就可以通过一系列的手势或动作,实现更加直观、犹如身临其境般的人机交互应用。这种效果一般是通过摄像头或体感交互器件(如微软公司的Kinect等)抓取并分析人的手势动作的,主机再根据动作的含义来改变投影机输出的图像实现的。
为了确保输出的三维影像可以流畅地变化,需要投影机能够快速地更换图像,即要求计算机快速地绘制图像。这里依然会采用图形处理器进行并行运算来提高速度。在对速度要求更高的场合,可以事先将处理好的图像存于计算机硬盘里,再利用查表的方式进行实时调用传输即可。
(4)光场三维显示技术的应用前景。基于光场重建的360°可探入悬浮三维显示有着广阔的应用前景。光场三维显示的悬浮性、可探入性加上丰富的人机交互手势,将使得光场三维显示拥有更广阔的发展前景。这种三维显示技术会与个人电脑、智能手机一样,不仅仅是-种新技术,还会带来一场改变我们现有的生活模式的革命。
例如,可建造电子军事沙盘,它利用可探入式的光场三维显示系统,通过计算机迅速地构造模型,然后由输出设备进行投影,实现360°的悬浮三维显示。这种沙盘制作快捷而且便于运输,甚至可以依靠计算机运算分析能力,进行敌我态势预估和虚拟对抗。
又如,可将其应用于博物馆内文物或其他艺术品的虚拟展示。这种展示不受时间、地点和空间的限制,若在此基础上进一步应用人机交互技术,则参观会变得更加直观。如人们可以翻转瓷器来观看它的底部特征,对某些质量巨大的艺术品,也可以随人的手势任意翻转。
再如,还可将其应用于一些机械结构的加工。在可探入式的三维显示系统中,无须在计算机上频繁地输入坐标,以及各种零部件的命令,只需利用人机交互直接进行操作,设计过程就像组装虚拟的积木一样,更加直观和快捷。
二、全息三维显示技术
(1)全息三维显示技术的基本原理。人是通过接收自然界反射/辐射的光波来对物体进行观察的,这些光波携带的信息包括振幅、相位。其中,振幅信息反映了物体的表面特性(比如颜色、材质和光照效果等),而相位信息则反映物体的空间位置特性。目前,市场上的图像记录和显示设备只能记录和显示物体的振幅信息,没有保存表示物体立体结构特征的相位信息。
而全息技术利用干涉原理,能将光波的振幅和相位信息记录下来,使物光波的全部信息都存储在记录介质中。当用光波照射记录介质时,根据衍射原理,就能重现出原始物光波,从而实现十分逼真的三维图像。因此,基于全息技术的三维显示技术,被认为目前最理想的三维显示方式。
(2)全息三维显示技术的发展现状。20世纪发明的全息术是一种基于物理光学原理,以完整记录和重建三维物体光波为基础的三维显示技术。由于全息的再现光波保留了原有物体光波的全部信息(振幅信息和相位信息),故全息再现影像与原始物体有着完全相同的三维特性,能够提供人眼视觉系统所需的全部深度感知信息。人们在观看全息再现影像时,会得到与观看原物时完全相同的视觉效果。因此,全息技术被国际上广泛认为最有发展前景的真三维显示技术。
传统的全息技术基于光学记录材料,主要用来显示静态图像和具有简单动作的动态图像。但由于三维显示的媒介是一张张的全息图,且其制作受到光学记录材料、制造工艺、成本、实验环境要求等方面的限制,因此这种技术并不适于视觉信息的传输和共享。目前,传统的全息图主要用于艺术创作、室内装饰、博物馆展示、信用卡、票据和商品防伪等。
计算全息三维显示技术,是近年来全息术与光电信息技术及计算机高速计算技术相结合发展起来的一种最具潜力的真三维显示技术。最早成功实现计算全息三维图像视频显示的是美国麻省理工学院媒体实验室Benton领导的空间光学成像试验小组。他们自1989年以来先后开发了以扫描声光调制器为核心的三代全息投影显示系统,其中第二代系统可以显示成像空间为150mmx75mmx150mm和视场角为30°的三维图像。但是由于声光调制器是一个一维装置,必须通过扫描镜来获取水平和垂直的图像,因此该系统在使用时受到了限制。
英国QinetiQ公司和剑桥大学高级光子和电子技术中心,于2004年利用电寻址的液晶空间光调制器和光寻址的双稳态液晶空间光调制器,研制了一套视频显示的计算全息三维投影显示系统,其像素数超过100M,且帧速刷新频率为30Hz,通过视频方式可显示宽度大于300mm的全视差三维彩色图像。该系统采用了4W的光寻址液晶空间光调制器拼接和400个CPU并行运算,系统复杂且造价昂贵。
2010年,美国亚利桑那大学光学科学学院的Nasser Peyghambarian博士领导的小组研制了一种基于新型全息记录材料的全息显示技术,可以以2秒每帧的刷新率显示窗口大小为250mmx250mm的三维图像。该技术一经发表,就引起了轰动。媒体认为其有望让电影“星球大战”中的场景出现在真实现实生活中。这项技术的进展,使得我们离制造出远程、具有临场感的全息三维显示装置这一终极目标又近了一步。该装置最终能够将高分辨率、全彩色、图像尺寸与人类大小相仿的三维影像,以视频形式从世界的某个地方传送到另二个地方。综上所述,传统全息技术是利用空间物理光学进行再现图像的,它使用银盐、明胶等化学介质和感光材料来记录全息图。随着计算机技术和数字传感技术的发展,图像分辨率逐步提高,特别是CCD与CMOS等数字成像元件的出现,全息技术从需要化学介质感光材料记录及化学处理发展到数字记录及数字再现,从而形成了一门全新的数字全息技术。
采用数字全息可实现动态三维显示,但目前尚不能得到高分辨率的空间光调制器。为此,一种基于可擦写材料的全息三维显示技术应运而生。该技术的关键是采用了基于光生电荷运动和诱捕的光致折变聚合物材料,这种材料具有可逆特性。利用西束相干激光和外部施加电场在聚合物中形成复制干涉图案的空间电荷场,空间电荷效应对局部折射率进行改变,使得全息图以折射率图案的形式编码。研究人员已研究出基于可擦写材料的全息三维显示系统,但存在全息图对震动敏感,以及还没有完全达到实时更新等问题。研究人员力求研制出更快速记录和低延迟时间的光折变聚合物,从而实现真正的动态全息三维显示。
此外,清华大学、北京理工大学、上海交通大学、东南大学、北京邮电大学、上海大学、中山大学、安徽大学、浙江大学及西北工业大学等高校也对计算全息三维显示进行了研究,并在全息图计算算法、三维显示系统等方面取得了卓有成效的进展。
(3)计算全息三维显示技术的优势。计算全息技术的出现、空间光调制器等光电子器件的发展,以及计算机计算能力的迅速提高,使动态全息三维显示逐渐成为可能。与传统的光全息术相比,计算全息技术避开了传统全息技术记录光路的限制,可对其他手段获得的三维数据或人工制作的三维模型通过计算机设备进行全息图计算。
计算全息三维显示技术的优势包括:灵活,可重复性好,可充分利用光能,可显示虚拟和真实物体,可显示三维物体外观或者透视其内部,可让观察者从任意角度观看影像,可实现虚拟现实和增强现实,令观察者与真实场景和虚拟场景产生互动等。
基于此,计算全息术在军事、医疗、工业、商业、教学、科研、影视、娱乐等众多领域具有十分广阔的应用前景。
(4)图形处理器在全息三维显示技术中的应用。为了提高全息图的计算速度,日本千叶大学的Tomoyoshi Ito小组,开发出专门用来对全息图计算进行加速的硬件设备HORN系列,其计算速度比当时普通计算机的速度大约提高了4000倍。
在过去的十几年间,图形处理器GPU的计算能力有了飞速的发展,其每秒万亿次的计算性能吸引了很多人的关注。一般来说,CPU擅长处理的是循环、分支、逻辑判断及执行等逻辑程序,而对于具有上百个线程的并行执行则无能为力。图形处理器擅长处理的是没有逻辑关系的高度并行数值计算,其优势是可以执行上千个无逻辑关系数值的并行计算,即在同--个程序操作中运行多个并行数据。在处理从一般信号处理、物理模拟、金融计算或者生物计算所获得的大量数据集时,许多算法都可以通过并行数据处理得到加速。
全息图的计算机生成过程是,对三维物体所有离散点发出的光波在全息平面上所有抽样像素点的复数振幅分布进行计算的过程。每个离散点在全息平面不同抽样点执行的计算过程完全相同,且每个过程相对独立,因此,全息图的计算具有很高的并行性。正因为图形处理器的这种处理大数据量的能力和全息图的计算过程的高度并行性,科学家们纷纷开始利用图形处理器加速全息图的计算。如德国学者Lukas Ahrenberg利用图形处理器硬件对具有1万个物点、像素数为960x600的全息图进行计算,共耗时1S。2010年,日本千叶大学的Tomoyoshi Shimobaba比较了市场上图形处理器主要生产厂商ATI和英伟达NVIDIA生产的图形处理器的计算性能,实验表明,在OpenCL架构下,ATI生产的图形处理器计算速度是NVIDIA的2倍。图形处理器在计算全息术中的应用,大大提高了全息图的计算速度,为三维图像的实时动态显示带来了曙光。
(5)计算全息三维显示技术所面临的挑战及解决方法。计算全息三维显示技术是一种理想的真三维显示技术,但该技术仍然面临诸多技术难题,诸如再现影像尺寸和视场角较小,相干光源、光电显示器件引起的噪声和真彩色显示等技术难题还有待解决。如果这些问题得不到解决,该技术仍然无法进入实际的应用阶段。计算全息三维显示发展至今,尽管在各方面取得了进展,但始终受到两个问题的制约。
①全息再现影像的质量受限。由于计算全息三维显示通常需要借助空间光调制器来显示三维图像,因此全息再现影像的质量受目前空间光调制器的阵列大小、像素尺寸、空间带宽积(可以简单认为是像素数)、填充率、刷新频率、衍射效率等性能参数的限制。其中,空间光调制器的像素数直接决定了再现三维图像的尺寸和视场角。目前的尺寸仍然较小,降低了三维显示效果,且仅能供一人观看。假设再现光的波长为632.8nm的红光,要想获得再现影像尺寸大小为300mmx300mmx300mm,水平与垂直视场角均为30°的三维图像,至少需要空间光调制器的像素数达到1012量级,因而要想获得大尺寸和大视场角的三维图像就需要大阵列的显示设备。但是,目前市场上可以买到的纯相位型空间光调制器像素数仅为1920x1080,显然无法满足要求。
一个解决办法是,使用多空间光调制器无缝拼接,通过增大系统总像素数获得大尺寸和大视角的三维图像。但是这种方法增加了系统的复杂度且成本较高。另一方面,若利用时分复用的方法,则需要高帧频的空间光调制器。由此可见,目前还没有一种方法能摆脱显示器件的限制,有效提高再现三维图像的尺寸与视场角。因此,发展高分辨率的空间光调制器,是提高计算全息三维显示图像质量最直接有效的方法。
2013年,美国麻省理工学院在Nature上报道了他们最新研制的基于波导和声光效应的新型空间光调制器。与传统基于液晶的空间光调制器相比,该新型空间光调制器有效增大了空间带宽积,能够获得较大的衍射角,同时消除了空间光调制器引入的零级光和多级衍射光等噪声的干扰,而且其制造成本大幅降低。该技术为突破目前器件的瓶颈问题提供了一个新的方向。
②全息图的计算速度达不到实时显示的要求。全息图的计算机生成,主要包括三维物体模型的建立与全息图的计算。在计算机图形学中,为了更精确地描述三维物体模型,通常需要使用海量的点基元或面基元,以及一些光照阴影、渲染材质、遮挡效果等信息,因而所需的数据量非常庞大。在全息图的计算过程中,通常将组成三维物体模型的点基元或面基元看成一个个发光源。
全息图计算的核心,就是计算所有离散点基元或面基元发出的光波在全息图平面上的复数振幅分布,并对全息图上所有抽样点像素进行计算。因此,全息图的计算量也十分巨大。为了能够实时动态地显示三维图像,全息图的计算速度至少要达到25帧/秒,但对于计算三维物体上一个点基元的全息图,传统的方法所需的时间为几十毫秒,远远无法满足实时动态显示要求。
为了提高全息图的计算速度,根据目前的报道,科学家们主要采用改进全息图计算算法的方法。由于全息图的计算速度依赖于计算机设备的计算能力,因此发展高性能的计算设备也是一条有效途径。其中一个目前公认为较好的解决方法,就是前述的图形处理器在全息三维显示技术中的应用,它让人们见到了“曙光”。
三、光栅三维显示技术
光栅三维显示是基于双目视差深度暗示的三维显示技术,分为狭缝光栅三维显示和柱透镜光栅三维显示两种。
(1)狭缝光栅三维显示技术。狭缝光栅三维显示的结构和原理如图9所示,狭缝光栅三维显示由二维显示屏和狭缝光栅精密耦合组成,其中,狭缝光栅由相间排列的透光条和挡光条组成。通过透光条和挡光条,左眼和右眼可以分别观看到二维显示屏上与狭缝光栅对应排列的左视差图像和右视差图像,从而实现左右视差图像的光线在空间上的分离。
图9 狭缝光栅三维显示的结构和原理
(1)柱透镜光栅三维显示技术。柱透镜光栅三维显示的结构和原理如图10所示。柱透镜光栅三维显示由二维显示屏和柱透镜光栅精密耦合组成,其中柱透镜光栅由众多完全相同的柱透镜单元平行排列而成。在柱透镜单元的排列方向上,每个柱透镜单元将置于其焦平面上不同位置的左右视差图像光折射到不同方向,从而实现左右视差图像的光线在空间上的分离。
图10 柱透镜光栅三维显示的结构和原理
综上所述,光栅三维显示就是将左右视差图像交错排列在二维显示屏上,利用光栅的分光作用将左眼视差图像和右眼视差图像的光线向不同方向传播。根据双目视差深度暗示原理,当观看者位于合适的观看区域时,其左眼和右眼分别观看到左视差图像和右视差图像,经大脑融合便可感知到具有三维感的图像。
在制作方面,狭缝光栅比柱透镜光栅要简单,成本也比柱透镜光栅低。然而,由于在狭缝光栅三维显示中,狭缝光栅挡光条部分对光线的遮挡导致三维图像亮度降低,大大影响了其应用;而在柱透镜光栅三维显示中,柱透镜光栅为透明介质,只吸收小部分光,因此对三维图像亮度影响较小。随着工艺的不断成熟,柱透镜光栅三维显示得到了广泛应用,成为目前裸视光栅三维显示的主流。
四、集成成像三维显示技术
(1)集成成像三维显示原理。集成成像三维显示技术是利用微透镜阵列对物空间的场景进行记录,并再现空间场景的基于多种深度暗示的真三维显示技术,其起源于1908年诺贝尔奖获得者Gabriel Lippmann提出的集成摄影术。集成成像三维显示包括记录和再现两个过程,其原理如图11所示。
图11 集成成像三维显示的原理
其中的记录过程,利用一个记录微透镜阵列对物空间场景成像,并把图像记录到位于微透镜阵列焦平面处的胶片上。每个透镜元对应生成一幅不同方位视角的微小图片,即图像元。通过这一过程,物空间任意一点的立体信息,被与透镜元个数相同的图像元扩散记录到整个胶片上,胶片上所记录到的像称为图像阵列。
其中的再现过程,利用与记录微透镜阵列具有同样参数的再现微透镜阵列,把记录有图像阵列的胶片,放在再现微透镜阵列后方的焦平面处,根据光路可逆原理,再现微透镜阵列把许许多多图像元透射出来的光线聚集还原,从而在再现微透镜阵列的前方,重建出物空间场景的三维图像。
随着电荷耦合器件CCD和液晶显示器LCD的发展,记录端的胶片可由电荷耦合器件代替,再现端的胶片可由液晶显示器代替,其对应的两个过程分别称为拍摄和显示。
(2)集成成像三维显示模式。根据微透镜阵列与显示屏间的距离g与透镜焦距f之间的关系,集成成像三维显示模式可分为实模式、虚模式和聚焦模式三类。
•当g>f时为实模式,三维图像位于显示微透镜阵列前方。
•当g<f时为虚模式,三维图像位于显示微透镜阵列后方。
•当g=f时为聚焦模式,可在微透镜阵列的前后同时显示出三维图像。
集成成像三维显示可供多人同时观看到具有全视差、全真色彩的三维图像。但由于成像使用的是微透镜阵列或针孔阵列,以及受到拍摄器件和显示器件的分辨率有限等因素的制约,目前集成成像三维显示存在三维图像深度反转、深度范围小、分辨率低和观看视角窄等不足。随着技术的发展,这些问题正在逐步解决。
真三维立体显示技术是一种全新的三维图像显示技术,基于这种显示技术可以直接观察到具有物理景深的三维图像,该技术具有全视景、多角度、多人同时观察,即时交互等众多优点。它将引领科学可视化进入崭新的发展方向,具有广阔的应用前景。因此,能够真实反映真实世界的三维显示技术,被誉为“21世纪最伟大的革命之一”。