手机定位及AR应用的初步探索

大家好,今天和大家聊聊增强现实(Augmented Reality,AR)技术以及一些使用体会。本文仅代表个人观点,如有错误之处还望大家批评指正。

先简单介绍一下什么是增强现实(AR)技术。AR是通过显示设备看到计算机创建的虚拟物体重叠于现实环境中。从技术层面上来讲,AR设备需配备摄像头感知现实环境,软件或App负责视觉算法和图形渲染,最后投射到头戴显示器或手机屏幕上,实现AR效果。

手机定位及AR应用的初步探索

AR概念很早就被提出,但受限于硬件瓶颈,一直发展缓慢。直到近年来,Google glass和HoloLens问世,以及一款叫<pokemon go>游戏的风靡,AR才广为人所知。今年7月份苹果公司向开发者发布了ARkit,Google公司紧随其后于8月份也发布了ARCore。也就是说,从明年开始,会有越来越多的手机(苹果和安卓)将更好地支持AR功能。

手机定位及AR应用的初步探索

当今市场上支持ARkit或ARCore的手机并不多,苹果ARKit要求设备至少拥有A9处理器,也就是说只有iPhone6s/iPad(9.7英寸)及其以后的手机/平板才有能享用。

谷歌虽然没有公开说明ARCore的最低要求,但目前仅支持Google Pixel 二代三星S8这两款手机。

国内市场同样看好手机AR,今年8月小米和视+AR签署深度合作协议,准备共同打造手机AR平台;百度已经开始测试AR SDK;阿里8亿美元投资Magic Leap;腾讯也设立了AR工作室QAR。可以看出,手机AR将蓄势待发。

不过从长远看,手机AR也只是个过渡期,未来AR发展还是要转向眼镜等可穿戴设备。而AR本身也将会被混合现实(Mixed Reality,MR)所取代。例如,微软公司就选择更高端的MR混合现实为出发点,推出HoloLens,并只面向企业市场,2.3万人民币的起步价注定难与吃瓜群众结缘了。

手机定位及AR应用的初步探索

医疗也是AR大有可为的领域,但目前相关手机AR应用少的可怜,其原因在于:一方面AR技术目前尚不够成熟;第二,医疗应用开发门槛较其他行业高;第三,大部分公司和开发者都热衷于目标人群更广、开发周期更短、收益更多的AR游戏开发。所以医疗AR软件开发的驱动力不强,只有国外几家大公司在做面向企业层面的高端应用。因此我们可选择的AR应用微乎其微。我也是因为手机定位的需要,才去了解和学习AR相关知识,并做了一些尝试性的探索。


下面内容是12月份我参加济南会议的部分PPT,结合AR相关内容和大家分享一下。

对于颅内血肿定位,常用的有画线定位、体表标志定位、弦长定位等方法,这些方法经得起临床实践的多年考验,但和神经导航那种所见即所得的定位方式比起来,还是有天壤之别的。神经导航的基本原理就是增强现实技术,也有国内外学者尝试用低成本的方案来实现AR辅助颅内病变的定位,目前有投影仪辅助定位法和手机辅助定位法。

手机定位及AR应用的初步探索

2016年澳大利亚学者发表了一篇关于手机Sina定位的文章,因为方法简单、不需要昂贵的设备,所以广受国内同行关注。我们当时就想:能否应用到外伤和脑出血上呢?但CT胶片不像MRI那样能显示头皮轮廓,所以无法完成头颅匹配。而且Sina只能对病灶中心定位,很难对病变范围定位。以上因素限制了Sina应用于脑出血的定位。

手机定位及AR应用的初步探索

2017年解放军总医院陈晓雷教授团队发表了两篇关于手机定位的文章,其中一篇介绍颅内血肿的手机定位方法。首先,他们利用3Dslicer软件在PC上实现血肿的体表投影;其次在患者头皮画网格线作为参考;最后,利用图片合成app在手机上将带血肿投影的图片与患者的头像照片匹配,从而确定血肿的体表位置。

手机定位及AR应用的初步探索

受启发于此,我们利用3Dslicer将患者头颅CT数据进行三维重建,还原患者头颅样貌,这样就解决了轮廓匹配的问题;再通过调整虚拟头像的透明度,使血肿显影,这就解决了血肿体表投影的问题。最后,将带有血肿投影的虚拟头像图片载入Sina,与患者头颅匹配从而确定血肿的位置,这种定位方法较以上两种方法更加直观。

手机定位及AR应用的初步探索

通过临床实践,证明了该方法的可行性,但也发现了一些问题。这些问题是导致定位误差的来源。比如,不同手机的摄像头有不同的数码变焦、光圈、广角参数,这就导致了不同手机拍摄同一个物体时,显示效果不同(焦距不同,显示物体大小不同)。一开始我用魅族手机定位,这种误差并不明显;但换三星手机后,就发现匹配存在困难,比如,外耳廓匹配了,头颅无法匹配。Slicer群里也有人反应过此类问题,这个问题产生的原因是:Slicer上的截图与手机摄像头拍摄画面的放大比率不一致。怎么办呢?可以通过在颞部血肿投影区域贴Marker再去扫CT,Marker要位于血肿投影区附近且不易太分散,匹配时以体表标志作参考,外耳轮廓次之,这样能减少上述误差。还有一种解决方法就是:slicer上截图时,图片放大比率和手机焦距所致的放大比率需要一致,但这需要计算,如何计算,目前还不得知。上述的问题同样存在于其他手机定位法。

目前手机定位法有其自身的短板:一是镜头焦距所致的缩放和畸变;二是适用范围较窄,只适用于正侧方或正顶部体表定位。三、定位时患者头位摆放和虚拟头像截图都有要求。

手机定位及AR应用的初步探索

诚然,目前有所的手机定位法都不是真正意义上的AR方法。真正的AR定位法应该类似神经导航:患者的三维影像+病变360°全方位可视化。为了解决定位这个问题,我们才开始做手机AR开发的相关工作。虽然困难重重、进展缓慢,但这过程中也有收获和惊喜,接下来与大家分享以下几个方面:

手机定位及AR应用的初步探索

(一)解剖学习

大家都有体会:大学里最枯燥无味的课程就是解剖课,好不容易考试过了,但到临床工作时,还得重新学解剖。我们看过许多解剖书、图谱和动画,但都不如上手术台亲眼看一下来得印象深刻。因为文字、图谱、动画都不是我们理解事物的最好的方式。人类认知物体最自然的方式当然是把物体放在眼前看,放在手上把玩。借助AR我们会有一种全新的学习体验。

下图为大脑中巨大动脉瘤累及M1和M2分支,医生看DSA可以看得明白,但AR可以让毫无医学常识的人看得同样明白。

手机定位及AR应用的初步探索

有多少人和我一样,曾经将颅骨标本拿在手上反复揣摩ICA与前床突的关系,以及ICA的分段。现在有了AR,一目了然。

手机定位及AR应用的初步探索

在看平面解剖图谱时,我们绞尽脑汁想象它的立体形态。现在AR将你的想象变成“现实”,大脑在你面前放大、缩小、旋转,是不是感觉很Amazing?

记得小学有一篇课文叫《我的旅行》,讲一颗小豆瓣的消化道旅行。现在借助AR,我们也可以化身脑脊液中的一个蛋白,开始我们的《脑室旅行》。

 

(二)病例&手术展示

301读研期间,在我的老师孙正辉教授的授意和指导下,开始制作《七个颅内复杂动脉瘤》手术教学视频,出版前曾讨论:是用光盘好还是U盘好?光盘成本低,但光驱已基本淘汰;U盘虽好,但成本太高。最后还是采用了光盘+书的形式。(广告植入:一套88元,需要购买的同志请加我微信并留言,目前还赠送一个病例的AR应用)

手机定位及AR应用的初步探索

如果用AR来做的话,可实现“成本最低化+普及最大化”。只需出版手册,用户购买后扫二维码自行下载App。打开App用手机对着书中的图片或文字扫描,相应的手术录像和动画即可展现,连电脑开机都省了,而且支持多人同时不同角度观看。

(三)临床应用

有人问:就只能这么看看,有什么用啊?是的,技术的价值在于应用到实践,以后AR技术肯定会更好地服务于临床实践,但具体以什么样的形式,目前还不得而知。不过,关于颅内病变的定位,我也做了一些自己的探索。下图桌上的头颅模型是用患者CT数据3D打印的,手机中绿色头像也是基于患者CT数据三维重建的。当模型和三维影像1:1匹配后,就能看到如下的AR效果。

手机定位及AR应用的初步探索

既然三维影像能匹配头颅,那么匹配之后,以AR的方式显示颅内的脑室也就顺理成章了。

手机定位及AR应用的初步探索

颅内病变的定位与上图脑室定位大同小异。所以,手机AR辅助颅内病变定位完全是可行性的,而且不局限于某个部位。我们也进行了一些临床测试,能实现颅内病变的定位,但软件还需完善,其稳定性和准确性还待进一步验证。


颅内病变的定位是我们神经内、外科医生临床工作中一个微不足道的方面,也是年轻医生刚入临床要学的基本技能。我们目前所做,价值十分有限,只是尝试将一项“高大上”的科技以“接地气”的方式拉近到我们普通医务者的身边。希望有一日,您在为患者定位时,手机AR辅助定位能成为您的一个新选择。

下图是尤哈教授新书扉页上的一句话,读完令人鼓舞!

手机定位及AR应用的初步探索

我们每个人心中都有自己追求的目标,有些穷尽我们一生也未必能达到,但这不是我们停止前行的理由。与君共勉!

如果您或者身边的朋友,有相关技术、资金、平台等资源,同时也对AR感兴趣的话,欢迎联系我们!


感谢曹玉福主任对本文的编辑及对文中视频处理和上传;感谢霍贵通、谢国强两位主任对本文的勘误。

如想交流学习3D Slicer知识请关注公众号NCZ120。

图片[16]-手机定位及AR应用的初步探索-临床影像实践
© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享
评论 共2条
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片
    • caoyufu的头像-临床影像实践Caoyufu等级-LV6-临床影像实践作者0
    • 头像裴东领-Payton0