华中医院(简称“医院”)的骨科教授叶哲伟,在《混合现实技术在医学领域的应用(上篇)》,为大家介绍混合现实技术在医学研究,医学教学,手术培训,术前医患沟通以及术前方案讨论的应用。今天我们继续看看,基于HoloLens的混合现实技术在术中引导,远程会诊,以及手术导航上的应用细节。
本篇叶教授同样会挑选优秀留言的小伙伴,赠送他最新出版的《医学混合现实》哦。
基于混合现实技术的术中引导
混合现实技术可以在外科医生不充分扩大手术切口的情况下掌握病人的身体内部信息,实现精准的手术引导。在术中,主刀医生和助手医生通过获取全息影像信息,使患者虚拟的3D数字模型与患者病变部位完全重叠在一起,使医生拥有高维度“透视”手术区域的工具,手术的精确性和安全性均得到提升。
图1混合现实技术应用于骨科术中引导
图2手术医生通过混合现实技术可以达到“透明人”效果
图3混合现实技术应用于骨科髋部骨折手术的术中引导
图4混合现实技术应用于骨科颈椎骨折手术的术中引导
图5应用混合现实技术引导行颅骨修补手术
图6运用混合现实技术对腹主动脉瘤患者进行手术引导
图7运用混合现实技术对腹主动脉瘤患者进行手术引导
基于混合现实技术的远程会诊
远程医疗是目前国家大力提倡和发展的方向之一,实现基于混合现实的远程医学协作,可以大幅提升协作体验与效率,把远程医生“带进”本地手术室。传统远程会诊是通过屏幕观看图片或视频沟通,还是基于一个二维画面。通过混合现实技术,可以将传统二维画面的会诊增加一个维度,实现三维立体会诊。会诊专家的指导意见,如识别标记重点区域、螺钉进入点、进钉方向和长度等操作指导意见,都可以通过MR技术,实时呈现在手术医生的手术视野内,真正将远处专家的指导意见实时带入手术现场,千里会诊成真。
年1月8日,我们成功实施了全球首例基于混合现实技术的三地远程会诊手术。此次远程会诊在医院医院、新医院、美国弗吉尼亚理工大学三个地方展开,借助混合现实远程会诊系统,在三个地方同步顺利完成了异地远程术前讨论,医患沟通,现场手术指导。
图8第一个地点:医院远程会诊中心
图9第二地点:新医院
图10第三个地点:美国弗吉尼亚理工大学
图11第四个地点:北京维卓致远医疗科技有限公司总部,负责全程技术支持
图12湖北武汉、新疆博州、美国佛吉尼亚三地医生通过混合现实技术同步讨论病情
图13远程会诊的引导笔直接“进入”手术野
通过混合现实远程会诊系统,本地医生将患者的影像数据及在此基础上重建而成的3D模型上传至云端,和远程医生同时佩戴混合现实眼镜观看混合现实影像,所以参与者均可对模型进行切割、文字标注、调整颜色、改变透明度、标注手术路径、测量和标注体积、长度、角度等场景编辑操作,实现了简便的实时交互与共享。
基于混合现实技术的手术导航
随着现代外科学的发展,手术操作的复杂性和难度均较以前有了很大增加,经常需要在狭小的空间进行操作,特别是人体某些复杂的解剖部位,比如心脏、大脑、脊椎及骨盆等,聚集了重要的血管、神经,有些疾病往往伴随着解剖学变异,稍有不慎可能导致严重后果。
经过几十年的发展,手术导航系统可以帮助医生减少手术时间,减轻患者的手术创伤,增加手术的精确度,提高手术成功率。随着外科手术的不断智能化、微创化,术中导航有可能成为未来外科手术的重要研究方向之一。
现有的手术导航技术大多在术中为手术医生提供二维的定位信息,并不能在术中把患者的手术部位以立体的、直观的形式展示给手术团队。基于混合现实技术的手术导航技术不仅能发挥混合现实技术在制定个性化术前计划方面的优势,更能为手术者提供术中实时的立体三维导航,使外科手术更加精准、微创、高效。
图14基于混合现实技术的手术导航研究
图15基于混合现实技术的手术导航研究
混合现实技术在医学领域的第一本专著《医学混合现实》
混合现实技术在我国医学界的应用,目前在国际上整体处于“第一梯队”,目前已经实现了从“跟跑”、“并跑”、再到“领跑”的转变。目医院完成上例的手术应用,实施术前讨论、医患沟通、手术引导,有效提高了手术安全性和精确性。在这个基础上,我们组织编写了《医学混合现实》一书。下面是这本书的一组数字:全球第一本医学混合现实专著,全书分26章88节,50余万字,余张图片,31段视频,56个