手机定位及AR应用的初步探索

大家好，今天和大家聊聊增强现实（Augmented Reality，AR）技术以及一些使用体会。本文仅代表个人观点，如有错误之处还望大家批评指正。

先简单介绍一下什么是增强现实（AR）技术。AR是通过显示设备看到计算机创建的虚拟物体重叠于现实环境中。从技术层面上来讲，AR设备需配备摄像头感知现实环境，软件或App负责视觉算法和图形渲染，最后投射到头戴显示器或手机屏幕上，实现AR效果。

AR概念很早就被提出，但受限于硬件瓶颈，一直发展缓慢。直到近年来，Google glass和HoloLens问世，以及一款叫<pokemon go>游戏的风靡，AR才广为人所知。今年7月份苹果公司向开发者发布了ARkit，Google公司紧随其后于8月份也发布了ARCore。也就是说，从明年开始，会有越来越多的手机（苹果和安卓）将更好地支持AR功能。

当今市场上支持ARkit或ARCore的手机并不多，苹果ARKit要求设备至少拥有A9处理器，也就是说只有iPhone6s/iPad（9.7英寸）及其以后的手机/平板才有能享用。

谷歌虽然没有公开说明ARCore的最低要求，但目前仅支持Google Pixel 二代和三星S8这两款手机。

国内市场同样看好手机AR，今年8月小米和视+AR签署深度合作协议，准备共同打造手机AR平台；百度已经开始测试AR SDK；阿里8亿美元投资Magic Leap；腾讯也设立了AR工作室QAR。可以看出，手机AR将蓄势待发。

不过从长远看，手机AR也只是个过渡期，未来AR发展还是要转向眼镜等可穿戴设备。而AR本身也将会被混合现实（Mixed Reality，MR）所取代。例如，微软公司就选择更高端的MR混合现实为出发点，推出HoloLens，并只面向企业市场，2.3万人民币的起步价注定难与吃瓜群众结缘了。

医疗也是AR大有可为的领域，但目前相关手机AR应用少的可怜，其原因在于：一方面AR技术目前尚不够成熟；第二，医疗应用开发门槛较其他行业高；第三，大部分公司和开发者都热衷于目标人群更广、开发周期更短、收益更多的AR游戏开发。所以医疗AR软件开发的驱动力不强，只有国外几家大公司在做面向企业层面的高端应用。因此我们可选择的AR应用微乎其微。我也是因为手机定位的需要，才去了解和学习AR相关知识，并做了一些尝试性的探索。

下面内容是12月份我参加济南会议的部分PPT，结合AR相关内容和大家分享一下。

对于颅内血肿定位，常用的有画线定位、体表标志定位、弦长定位等方法，这些方法经得起临床实践的多年考验，但和神经导航那种所见即所得的定位方式比起来，还是有天壤之别的。神经导航的基本原理就是增强现实技术，也有国内外学者尝试用低成本的方案来实现AR辅助颅内病变的定位，目前有投影仪辅助定位法和手机辅助定位法。

2016年澳大利亚学者发表了一篇关于手机Sina定位的文章，因为方法简单、不需要昂贵的设备，所以广受国内同行关注。我们当时就想：能否应用到外伤和脑出血上呢？但CT胶片不像MRI那样能显示头皮轮廓，所以无法完成头颅匹配。而且Sina只能对病灶中心定位，很难对病变范围定位。以上因素限制了Sina应用于脑出血的定位。

2017年解放军总医院陈晓雷教授团队发表了两篇关于手机定位的文章，其中一篇介绍颅内血肿的手机定位方法。首先，他们利用3Dslicer软件在PC上实现血肿的体表投影；其次在患者头皮画网格线作为参考；最后，利用图片合成app在手机上将带血肿投影的图片与患者的头像照片匹配，从而确定血肿的体表位置。

受启发于此，我们利用3Dslicer将患者头颅CT数据进行三维重建，还原患者头颅样貌，这样就解决了轮廓匹配的问题；再通过调整虚拟头像的透明度，使血肿显影，这就解决了血肿体表投影的问题。最后，将带有血肿投影的虚拟头像图片载入Sina，与患者头颅匹配从而确定血肿的位置，这种定位方法较以上两种方法更加直观。

通过临床实践，证明了该方法的可行性，但也发现了一些问题。这些问题是导致定位误差的来源。比如，不同手机的摄像头有不同的数码变焦、光圈、广角参数，这就导致了不同手机拍摄同一个物体时，显示效果不同（焦距不同，显示物体大小不同）。一开始我用魅族手机定位，这种误差并不明显；但换三星手机后，就发现匹配存在困难，比如，外耳廓匹配了，头颅无法匹配。Slicer群里也有人反应过此类问题，这个问题产生的原因是：Slicer上的截图与手机摄像头拍摄画面的放大比率不一致。怎么办呢？可以通过在颞部血肿投影区域贴Marker再去扫CT，Marker要位于血肿投影区附近且不易太分散，匹配时以体表标志作参考，外耳轮廓次之，这样能减少上述误差。还有一种解决方法就是：slicer上截图时，图片放大比率和手机焦距所致的放大比率需要一致，但这需要计算，如何计算，目前还不得知。上述的问题同样存在于其他手机定位法。

目前手机定位法有其自身的短板：一是镜头焦距所致的缩放和畸变；二是适用范围较窄，只适用于正侧方或正顶部体表定位。三、定位时患者头位摆放和虚拟头像截图都有要求。

诚然，目前有所的手机定位法都不是真正意义上的AR方法。真正的AR定位法应该类似神经导航：患者的三维影像+病变360°全方位可视化。为了解决定位这个问题，我们才开始做手机AR开发的相关工作。虽然困难重重、进展缓慢，但这过程中也有收获和惊喜，接下来与大家分享以下几个方面：

（一）解剖学习

大家都有体会：大学里最枯燥无味的课程就是解剖课，好不容易考试过了，但到临床工作时，还得重新学解剖。我们看过许多解剖书、图谱和动画，但都不如上手术台亲眼看一下来得印象深刻。因为文字、图谱、动画都不是我们理解事物的最好的方式。人类认知物体最自然的方式当然是把物体放在眼前看，放在手上把玩。借助AR我们会有一种全新的学习体验。

下图为大脑中巨大动脉瘤累及M1和M2分支，医生看DSA可以看得明白，但AR可以让毫无医学常识的人看得同样明白。

有多少人和我一样，曾经将颅骨标本拿在手上反复揣摩ICA与前床突的关系，以及ICA的分段。现在有了AR，一目了然。

在看平面解剖图谱时，我们绞尽脑汁想象它的立体形态。现在AR将你的想象变成“现实”，大脑在你面前放大、缩小、旋转，是不是感觉很Amazing？

记得小学有一篇课文叫《我的旅行》，讲一颗小豆瓣的消化道旅行。现在借助AR，我们也可以化身脑脊液中的一个蛋白，开始我们的《脑室旅行》。

（二）病例&手术展示

301读研期间，在我的老师孙正辉教授的授意和指导下，开始制作《七个颅内复杂动脉瘤》手术教学视频，出版前曾讨论：是用光盘好还是U盘好？光盘成本低，但光驱已基本淘汰；U盘虽好，但成本太高。最后还是采用了光盘+书的形式。（广告植入：一套88元，需要购买的同志请加我微信并留言，目前还赠送一个病例的AR应用）

如果用AR来做的话，可实现“成本最低化+普及最大化”。只需出版手册，用户购买后扫二维码自行下载App。打开App用手机对着书中的图片或文字扫描，相应的手术录像和动画即可展现，连电脑开机都省了，而且支持多人同时不同角度观看。

（三）临床应用

有人问：就只能这么看看，有什么用啊？是的，技术的价值在于应用到实践，以后AR技术肯定会更好地服务于临床实践，但具体以什么样的形式，目前还不得而知。不过，关于颅内病变的定位，我也做了一些自己的探索。下图桌上的头颅模型是用患者CT数据3D打印的，手机中绿色头像也是基于患者CT数据三维重建的。当模型和三维影像1：1匹配后，就能看到如下的AR效果。

既然三维影像能匹配头颅，那么匹配之后，以AR的方式显示颅内的脑室也就顺理成章了。

颅内病变的定位与上图脑室定位大同小异。所以，手机AR辅助颅内病变定位完全是可行性的，而且不局限于某个部位。我们也进行了一些临床测试，能实现颅内病变的定位，但软件还需完善，其稳定性和准确性还待进一步验证。

颅内病变的定位是我们神经内、外科医生临床工作中一个微不足道的方面，也是年轻医生刚入临床要学的基本技能。我们目前所做，价值十分有限，只是尝试将一项“高大上”的科技以“接地气”的方式拉近到我们普通医务者的身边。希望有一日，您在为患者定位时，手机AR辅助定位能成为您的一个新选择。

下图是尤哈教授新书扉页上的一句话，读完令人鼓舞！

我们每个人心中都有自己追求的目标，有些穷尽我们一生也未必能达到，但这不是我们停止前行的理由。与君共勉！

如果您或者身边的朋友，有相关技术、资金、平台等资源，同时也对AR感兴趣的话，欢迎联系我们！

感谢曹玉福主任对本文的编辑及对文中视频处理和上传；感谢霍贵通、谢国强两位主任对本文的勘误。

如想交流学习3D Slicer知识请关注公众号NCZ120。