← 返回项目经历

实验室横向项目 · 多模态医学影像

多序列 MRI 肿瘤分类与多模态特征融合

合作单位
江门市中心医院 / 东莞东华医院
项目时间
2025.03 — 2026.05
研究方向
图像分类 / 多尺度特征提取 / 多模态特征融合
  • Python
  • PyTorch
  • MONAI
  • 3D ResNet18
  • PyRadiomics

合作单位

  • 江门市中心医院
  • 东莞东华医院
患者数据规模
680
融合模型 · 内部测试 AUC
0.874
融合模型 · 外部测试 AUC
0.845

项目背景

面向多序列 MRI 肿瘤分类任务,针对不同 MRI 序列间的信息差异、病灶尺度变化及特征融合困难等问题,基于 680 例患者影像数据,开展原始数据集构建、多分支深度学习分类网络研发及影像组学特征融合研究。

多种 MRI 序列影像的示意对照,不对应本项目数据或实验结果
MRI 示意图,非本项目数据。图中序列仅用于展示不同 MRI 序列的视觉差异;本项目实际处理的序列为 DWI、T1WI-IP、T2WI,此图不代表本项目的肿瘤类型、病例或预测结果。

个人贡献

原始数据集构建与第三方标注质量管理

负责医院提供的原始 MRI 影像整理及第三方标注团队对接,参与标注规范制定、质量抽检、异常问题反馈、返工复核及最终交付验收。

基于 Python 完成 DWI、T1WI-IP、T2WI 多序列病例匹配、三维 ROI 提取及标准化预处理,将原始影像与标注数据整理为可用于模型训练及评估的规范化数据集。

  • 病例匹配
  • 标注质量管理
  • 三维 ROI
  • 标准化预处理

多分支分类网络设计与算法改进

基于 3D ResNet18 开发多序列三分支分类网络,针对不同 MRI 序列的特征差异,设计 MSKA 多尺度特征提取与 AMF 自适应融合模块,增强肿瘤多尺度特征表达及跨序列信息融合能力。

研发的 M3HAF-Net 在内部、外部测试集上的 AUC 分别达到 0.860、0.827。

  • 3D ResNet18
  • MSKA 多尺度特征提取
  • AMF 自适应融合

深度学习与影像组学特征融合

结合 PyRadiomics 提取影像组学特征,利用特征筛选及分类建模方法开展深度学习与影像组学融合实验。

最终融合模型内部、外部测试 AUC 分别达到 0.874、0.845,并采用 Grad-CAM、SHAP 等方法辅助分析模型的决策依据与特征贡献。

  • PyRadiomics
  • 特征筛选
  • Grad-CAM
  • SHAP

实验结果 · 内部与外部测试

M3HAF-Net 与最终融合模型的内部、外部测试 AUC 对比
模型内部 AUC外部 AUC
M3HAF-Net0.8600.827
最终融合模型0.8740.845
  • 完成 680 例患者多序列 MRI 数据整理、标注质量管理及规范化数据集建设。
  • 研发基于 3D ResNet18 的多分支分类网络,实现多尺度特征提取与自适应融合。
  • 最终融合模型在内部、外部测试中的 AUC 分别达到 0.874、0.845,完成跨中心分类性能验证。

以上指标对应项目所述内部、外部测试范围,不代表临床诊断或实际部署效果。个人网站不展示原始患者资料。