上面我们讨论了科学可视化系统的实时要求。科学可视化系统的另一个主要要求是要具有一个三维的、友好的人机界面,即这个界面应该使用方法比较自然,而给使用者的限制尽量少,并能提供真实的三维显示。虚拟现实界面至少应包括显示和用户控制两部分内容。
科学可视化系统要求有高质量、高分辨率的全彩色显示器。虽然对于大多数系统,分辨率为1000×1000象素的显示器就够用了,然而科学可视化系统往往又要求有很宽的视角。虽然同时满足这些要求是比较困难的,但目前已有一些产品能较好地满足这些要求,并得到广泛使用,如基于CRT的BOOM(Binocular Omni-Oriented Monitor)显示器和基于目标屏幕的CAVE(Cave Automatic Virtual Environment)显示器等。这些产品都有较好的用户界面。
由于虚拟现实界面能够增加科学可视化在科学发现中的作用,因此虚拟现实系统需要有很强的交互能力,其中,最主要的是在三维空间中的定位能力。具体地说,应包括如下三个方面:(1)确定位置的能力;(2)确定在该位置上发生动作的能力;(3)对该位置及动作的反应能力(一般通过三维显示器)。
这里,确定位置一般是通过某种跟踪技术来跟踪使用者手的位置,而确定在某一位置发生的动作则可以借助传统的手动按钮装置。这种方法的优点是易于掌握;其缺点是跟踪装置必须持在手上,并需提供表示指令的方式。另一种确定动作的装置称手套装置,它能够根据使用者手的姿势来作出相应的反应。例如“抓”的姿势表示抓住或移动某物体,“指”的姿势表示指定某物体。
至于虚拟现实系统对使用者的交互方式,目前主要是通过高分辨率的三维显示器。当前的图形技术已比较成熟。从画点、线的基本算法到复杂的三维真实感显示技术都可供科学可视化的虚拟现实系统使用。另外,还有两种有潜力的交互方式,但目前还没有得到充分的研究和开发,其第一种是声音,因为恰当的声音也可以表示一定的数据、结果或环境;第二种是触觉,目前已有学者在进行该方面的研究。实验结果表明,触感及力度均可以表示数据及科学结果。目前在这一方面的研究已经取得了进展,并得到了应用。
在虚拟现实技术中,视觉无疑是最主要和最常用的交互手段。在计算机中构造出虚拟模型以后,如计算机的软硬件性能足够强,那么,该虚拟模型在屏幕上的图象就会随着观察者眼睛位置的变化而变化,因为这时虚拟模型的观察点是在观察者的眼睛上。这样,观察者就可以得到与在真实世界中同样的感受。随着图象的变化,再配以适当的音响效果,就可以使人们有身临其境的感受。
但是,当人们希望用手来触摸虚拟模型,或用手直接对虚拟模型进行操作时,只是视觉和听觉就无能为力了,因而需要研制和开发具有触觉功能的交互手段,也就是具有“力反馈”功能的装置。多年来,这一直是人们追求的目标。前几年,已经出现了震动型操纵杆等力反馈装置,但效果并不理想,也未得到广泛应用。最近,美国麻省Sens Able Technologies公司研制开发的具有力反馈的三维交互设备PHAN To M及其配套的软件开发工具GHOST,其性能良好,已获得了用户好评。PHAN To M系统是一个类似于小型机械手的装置,对于三维虚拟模型或数据具有定位功能,就如同二维鼠标对二维图象具有指示和定位功能一样。当PHAN To M的机械臂在工作空间中运动时,就会在计算机屏幕上出现一个指示针,反映机械臂在工作空间中的位置。通过碰撞检测等技术探测到指示针与虚拟模型接触时,计算机会发出信号,告诉机械臂接触到了虚拟模型,并将该模型的物理性质,如质量、软硬程度、光滑程度等反馈给PHAN To M系统,再由该系统产生相应的力传递给操作者,使其具有力的感受,从而实现了力反馈。这种具有力反馈的人机交互设备开辟了多种可能的应用领域,例如产品设计和制造、医疗领域的应用、基于触觉的计算机动画以及基于触觉的三维模型的概念设计等。
这同时向我们提出了挑战,即为了实现上述这些功能,必须要将目前的几何造型扩展到物理造型,即不仅要在计算机内描述模型的几何数据及拓扑关系,而且要描述模型的物理属性,也就是说不仅要给出模型是刚体、塑性体,还是弹性体,还要给出模型的质量、转动惯量以及模型表面的光滑程度等,否则,就不能体现出具有触觉的交互方式的巨大作用。这给造型技术提出了崭新的要求,但也是实现高水平的虚拟现实所必须迈出的一步。