新闻动态
虚实之间,VR和AR技术还原一个更真实的“外科世界”

浏览次数:342 发布时间:2019-12-13 08:50:15

怀中抱月,本是虚招;变为实招,又有何妨?”高明的刀法,是为虚中有实、实中有虚,虚实之间却相得益彰。这样“虚实之间”的混合现实(Mixed Reality, MR)技术应用于医疗领域的表现也可圈可点。


MR技术是在AR技术上的进一步发展,其结合了VR和AR的优势,通过在现实场景呈现虚拟场景信息,在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路,将虚拟信息和真实世界融合而产生新的可视化环境,在新的可视化环境里物理和数字对象共存,并实时互动。


概念理解起来生涩难懂,那么简单来说就是,MR不同于VR的纯虚拟。形象来说,VR是,当卖火柴的小女孩划燃的一根火柴,哪怕赤脚站在冰冷街头,只要点(戴)燃(上)火(眼)柴(镜),也便能享受温暖的壁炉和喷香的圣诞大餐;那么MR则必须在真实场景上混合叠加虚拟影像。可以说MR的奇幻之处就在于,虚实之间的变化。


图片来源:Pixabay


目前来说混合现实技术应用于医疗领域还是相对少见的,这种设备在外科医生的手里不但是有利的手术工具,对于医生来说更是一份手术“进行指南”,本文将基于混合现实技术在外科手术的表现展开,详细介绍目前较为成熟的MR技术在医疗领域的实际应用。


该技术兴盛发展始于2017年。休斯敦德克萨斯大学健康科学中心(UTHealth)耳鼻咽喉、头颈外科主任Martin J. Citardi博士使用的TGS引导系统成为第一个获得FDA批准的用于鼻窦手术的系统。该系统将增强现实技术引入功能性内窥镜鼻窦手术(FESS)程序,并将术前计划与内窥镜图像合并,直接在手术监护仪上向医生提供实时手术指导。此后,微软(Microsoft)根据其混合现实眼镜——第一代HoloLens所开发的两款外科手术app也得到了FDA批准。上月,HoloLens第二代也已正式发布,目前,有一项进行中的临床试验正在进行,用以评估HoloLens在帮助外科医生以及放射科医生识别并治疗肿瘤的可行性。


科技不断发展,上述这类新兴工具从创造之初至今已经获得不小成就。该领域的公司下一步考虑的便是,如何在现有基础上进行产品的性能微调,使其更人性化地服务于临床环境。


微软HoloLens二代混合现实眼镜


图片来源:Pixabay


HoloLens第二代MR眼镜对于医生以及生物学家来说,是一款“友好型”产品。克利夫兰诊所(Cleveland Clinic)生物医学工程师Karl West先生作为“体验官”亲身体验了一把二代HoloLens眼镜的绝佳性能,他表示:“当你戴上HoloLens眼镜时,就像看到了x光一样,可以看到病人的身体内部结构。”


当然HoloLens本身不具有x光扫描的功能,Karl West先生所看到的这些图像均来自患者术前CT扫描或核磁共振成像,图像通过头戴式显示器全息投影,与超声波和电磁跟踪设备相结合,这样生动的图像便有所呈现了。那么在真实的手术环境中,当医生看到这些图像,一切准备就绪后,他们便可以在患者周围走动,从不同的角度查看患者器官结构(如动脉、静脉、内部器官等)的三维全息图像。


这款“耳机”可能还有一个优点,便是医生可在进行手术时可以使用语音命令或手势动作,来放大图像或移动信息。HoloLens的应用或许会使其他手术仪器“黯然失色”,根据研究人员对其性能测试,该眼镜甚至能将患者的生命体征信息投射至医生的视野里。这就能使医生可以在真实的环境中更快、更有效、更精准无误地完成手术。


图片来源:Pixabay


目前研究人员将HoloLens与Medview结合应用,旨在测试该技术在肝脏、肾脏和其他腹部肿瘤消融手术中的实际效果。Medbiew是一款人体3D解剖分析软件,内置数百个细致人体组织说明,为用户带来全面且详细的构造详解,各个部位的骨骼、肌肉都可以详细展现,在医学领域应用非常广泛。


术前规划平台SurgicalAR


除此之外,还有不少专家就“混合现实设备如何帮助揭示手术解剖结构”而展开了头脑风暴。一家来自纽约的初创公司Medivis,便是这场头脑风暴中的“佼佼者”之一,5月该公司基于HoloLens的全息成像产品SurdicalAR获FDA批准,这是该公司实现全息手术导航计划的第一步。


医生在进行手术时,肉眼看到的仅是患者器官或组织的二维图像,所有的组织病变也均是通过CT、核磁共振等形式呈现。当以3D图像为基础的全息手术计划推出后,对于医生来说术中管理也会变得相对容易可控,他们由此可以实时察觉患者的身体变化。到时,当患者正经历性命攸关的肿瘤切除手术,医生的进针点、进针角度,只能依赖其经验的时代便会过去。

图片来源:Pixabay


Medivis创始人兼CEO Osamah Choudhry先生表示:传统的医疗成像是平面的,而全息可视化将为医疗可视化带来根本的突破,提高手术安全性和效率


随着手术导航系统(Surgical Navigation)不断优化改善,目前对于设备商来说存在一个主要挑战——如何将术前检查数据与患者实际状况进行有效比对。医疗图像与患者最新身体状况的准确融合,是增强现实技术用于医疗程序的关键一步。Medivis解决方案是,在患者身上安装相关可被AR系统捕捉的追踪器。无论组织或者相关生物标记何时进行移动,算法都会进行实时调整,回传最新的患者的状况。


目前,Medivis公司旗下还拥有一款AR医疗教学平台AnatomyX。不过距离全息手术导航系统获批仍需时日。不管是MediView公司,还是Medivis,他们均希望实现这一目标,并在2021年之前将其产品推向市场。我们也由此期待一个全新的、更具远见的“外科世界”诞生,更好地辅助医生、造福患者。