多模态“换脑”术

多模态“换脑”术

王奎重 博士

临床应用中容易混淆配准与融合两个概念。图像配准(registration)是通过寻找图像间合适的空间变换,对齐两幅或两幅以上的图像。图像融合(fusion)指将不同/相同成像机理的多个图像合成为一个图像。图像融合不是简单的叠加,它产生了新的蕴含更多有价值信息的图像。这里介绍利用3D Slicer医学重建软件的强大配准、分割、融合等功能,实现不同模态影像学上脑部解剖结构互换,以显示头颅不同层次清晰的解剖。

1.打开3D Slicer软件,前景载入患者的MRI图像,背景载入患者的CT薄层扫描图像,设定不透明度为50%,可以看到这两种模态的图像不能重叠。尽管可以通过转化(transform)模块调整图像六个自由度,但很难使两者重叠满意。

2.安装扩展模块elastix①,选择预设值为刚性配准②,使得两者配准,在背景和前景内选择配准后的图像,并调整不透明度为50%③,可以看到MRI和CT两种影像模态配准满意。在对应用要求不高时,到这一步对于绝大多数使用者已经足够了。配准方法很多,也可以采用3D Slicer自带的通用配准模块(BRAINS),但设置略显复杂,这里不赘述。

3.“换脑”关键一步:脑组织影像剥离。采用颅骨剥离模块,获得MRI的脑组织影像。提取其脑组织Mask Label,采用容积剪切模块,获得CT图像的头皮和颅骨影像。

4.“换脑”重要一步:直方图匹配,在相同窗宽/窗位下既能较好显示颅骨,又能较好显示脑组织。采用直方图匹配(histogram matching)模块,把剥离的头皮和颅骨图像灰度直方图与脑组织图像匹配。

5.“换脑”术最后一步:使用容积添加(add scalar volumes)模块,使从CT剥离出来的头皮和颅骨与从MRI剥离出来的脑组织影像相融合。融合后图像在VR模块里动态显示如下。

王奎重博士作品

6.当然可以调整不同的直方图匹配模式,使得显示颅骨的图像与脑组织的图像在一定窗宽/窗位范围内显示满意。尽管3D Slicer里面的直方图匹配(histogram matching)模块简介里介绍该模块主要应用同一身体部位MR之间的直方图匹配,但通过不同模态(CT或MRI)直方图匹配,也能达到不一样的效果,但要注意此时转化后的CT灰度值已经改变,不能再作为CT密度值。其主要数学模型为直方图增强,包括直方图均衡化(histogram equalization, HE)及直方图规定化(histogram specification, HS)等。

7.这些融合后的图像可以通过生成DICOM序列(create a DICOM series)模块,变成其它设备可读标准的DICOM格式图片。导入手术导航系统内辅助术中导航,导入放疗系统内辅助制作放疗计划,导入立体定向系统内辅助穿刺定位等。当然,对于绝大多数应用而言,能够做到第二部精确配准就足够了。

8.第三步剥离出MRI的脑组织和CT的头皮颅骨影像后,也可以通过简单图像运算方法获得以后步骤同样效果。把剥离的图像输出成芒果(mango)软件读取格式(nii),打开芒果软件,运行图像计算器,输入运算公式new=(this-1000)/2+other(1),点击运行,即可获得新的融合图像。

以上”换脑“方法主要基于逻辑算子的图像融合,其运算方程为I(x,y)=I'(x,y)(1-M(x,y))+I”(x,y)M(x,y),因涉及步骤太多,这里只介绍了大体流程,具体详细步骤参照论坛有关基础教程。

注:本文仅供个人学习交流,不妥之处恳请大家批评指正。未经本人同意不得擅自转载及他用,有关参照本文产生的纠纷及法律后果本人概不负责。