Nature Methods | 使用多模态深度学习预测子宫内膜癌复发风险

虎威将军

发表在 IF=58.7 的《Nature Methods》期刊上的文章《Prediction of recurrence risk in endometrial cancer with multimodal deep learning》中，研究团队开发了一种名为 HECTOR 的多模态深度学习模型，结合组织病理学影像（H&E 染色全玻片扫描图像, WSI）、临床肿瘤分期信息和分子临床远处复发数据，精准预测子宫内膜癌患者的复发风险，为子宫内膜癌预后评估与治疗优化提供了全新思路。




引言

  子宫内膜癌（EC）是高收入国家最常见的妇科恶性肿瘤，10-20% 患者会发生难以治愈的远处复发。现有辅助治疗依赖临床病理和分子特征，但存在检测成本高、结果不一致等问题。深度学习（DL）技术利用 H&E 染色切片表现出巨大潜力，尤其是多模态模型，可整合形态学和临床数据精准预测预后。然而，仍需一种基于常规诊断数据、高效预测 EC 复发风险的模型以满足临床需求。


方法

HECTOR 模型
  为了构建预测远处复发的多模态模型，HECTOR 整合了 H&E WSI 的形态特征、基于图像的分子类别（由 im4MEC 模型预测）以及 FIGO 解剖分期信息，显著提升了模型性能。以下是模型的主要结构与训练过程：

单臂模型（基于 H&E WSI）：

• 输入：从 EsVIT 提取的 3,456 维补丁级特征袋，采用基于注意力的多实例学习（AttentionMIL）模型。
  
• 特征压缩：通过空间和语义压缩步骤减少补丁数量（平均由 10,185 减至 1,723），每个补丁特征通过全连接层（FC）逐步压缩为 512 维嵌入。
  
• 训练：事件发生时间离散为四个时间区间，采用 -log（likelihood loss）进行优化。
  

双臂模型（H&E + 分子类别 + 解剖分期）

• 输入：结合 H&E 幻灯片嵌入、基于图像的分子类别（imPOLEmut、imMMRd、imNSMP、imp53abn）和 FIGO 分期（I-III）。
  
• 模态融合：通过可学习嵌入层、ELU 激活和全连接层对分类变量编码，并采用基于门控的注意力机制加权不同模态的重要性。随后，使用 Kronecker 积进行模态融合，以捕获交互信息。
  
• 输出：多模态嵌入通过两个全连接层（大小为 256 和 128）压缩后，输出离散时间区间的风险预测。
  
  

HECTOR 模型 概述
数据

  本研究数据来源于 3 项随机试验（PORTEC-1、PORTEC-2 和 PORTEC-3，共 1,801 名患者）和 6 项临床队列（TransPORTEC、MST、丹麦队列、UMCG 队列、LUMC 队列、TCGA-UCEC，共 1,352 名患者），主要包括 FFPE 肿瘤样本的 H&E 染色全玻片图像（WSI）和 临床病理及随访数据。

  H&E 染色切片：每例患者至少提供一张数字化 H&E 切片，部分病例包含多张切片。切片通过高分辨率扫描仪（3Dhistech P250 和 P1000）处理。

  排除标准：a.缺少远处复发随访数据。b.FIGO 2009 IV 期患者。接受辅助化疗的患者。

  数据分组：a.训练集（n = 1,408）：用于监督学习。b.测试集：包括内部测试集（n = 353）和外部测试集（UMCG 队列，n = 160；LUMC 队列，n = 151）。c.自我监督学习数据（n = 1,862）：扩充数据包括未随访病例。

性能评估
  通过 C-index 进行性能评估，采用五折交叉验证优化模型架构与超参数，在训练集上选择最佳配置并重新训练。最终模型在内部及外部测试集（UMCG 和 LUMC）上评估，指标包括 C-index、累积 AUC 和 Brier 评分。针对 LUMC 队列的多 WSI 样本，采用随机抽样、评分平均及特征合并等策略，验证了模型在单切片与多切片样本上的鲁棒性和稳定性。

WSI 预处理与特征学习
  通过 Otsu 阈值分割 WSI，将图像切割为 180 μm 的非重叠补丁，调整为 256 × 256 像素，每张 WSI 平均生成约 10,185 个补丁。

  基于 Vision Transformer（ViT）的 EsVIT 模型优化补丁特征学习，扩大补丁视野并调整输入尺寸至 256 × 256 像素。训练数据包含 1,862 个 WSI 提取的 3,702,447 个补丁，使用 3 台 Nvidia RTX 8000 GPU 训练 100 个 epoch，结合 DINO 头和 AdamW 优化器调优。从最后 8 个变压器块中提取 3,456 维特征，用于下游任务，显著提升性能。

消融研究
  为了优化从 H&E 模态（单臂模型）预测远处复发的架构，本研究比较了三种主流 WSI 分类方法：AttentionMIL、Graph Attention Network 和 Transformer 架构。所有方法均基于 EsVIT 提取的补丁特征袋进行训练，使用相同的离散生存损失（-log（likelihood loss））。结果表明，AttentionMIL 在 C 指数上优于其他架构，且计算复杂性显著降低，验证了其在 TCGA-UCEC 数据中的可靠性。

  在整合基于图像的分子类别时，实验探索了以下策略：
1. 迁移学习：AttentionMIL 架构通过分子类别的预训练后微调用于预后任务。
2. 多任务学习：增加第二个分类头同时预测分子类别与预后，使用生存损失和交叉熵损失的加权和进行训练，权重通过五重交叉验证优化。
3. 模态融合：从冻结的 im4MEC 模型提取分子类别，通过嵌入层和注意力门整合。结果显示，模态融合策略的 C 指数最高。

  在 FIGO 解剖分期信息的整合中，比较了扩展分类与简化的三分类法（I、II、III），结果显示简化分类法通过嵌入层和注意力门融合后表现最佳，达到了最高的 C 指数。实验充分验证了 AttentionMIL 和模态融合策略的有效性，为 HECTOR 的架构优化提供了基础。

临床病理数据与细胞分析
  通过多重单线性回归分析，使用 HECTOR 连续风险评分作为因变量，临床病理数据作为回归变量（P < 0.05 为统计显著）。回归结果表明，HECTOR 风险评分与多个关键临床病理特征相关。

  使用 Hover-Net 模型进行细胞分割和分类，获得 EC 特异性炎症细胞计数并训练有丝分裂象检测器。通过对不同区域的炎症密度和有丝分裂活性密度进行量化，结合肿瘤核大小，分析这些视觉特征与 HECTOR 风险评分之间的关系。线性回归分析显示，负贡献区域（如炎症密度）与风险评分显著负相关，而正贡献区域（如有丝分裂密度和肿瘤核面积）与风险评分显著正相关；肿瘤核面积系数 377.916。这些结果表明，HECTOR 风险评分能够有效反映细胞级别的病理特征，并为模型的预测提供生物学支持。

结局分析
  使用 Kaplan-Meier 方法和对数秩检验（P < 0.05）进行远距离无复发概率分析，基于训练集的分位数（25%、50%、75%）定义 HECTOR 风险组。低风险组由低于中位数的风险评分定义，高风险组为高于第三四分位数的病例。此标准适用于各个测试集。

  为了比较 HECTOR 与常见临床病理因素的预后能力，我们使用 CPH 模型评估组织学亚型、分级、LVSI 和 FIGO 期，并纳入 EC 的分子类别。缺失数据采用均值替代法估算。通过 CPH 和 HECTOR 风险评分的 HR 计算，估计 HECTOR 的预后价值，结果与临床病理因素校正后进行比较。所有统计检验为双侧，P < 0.05 为显著。

基因组和转录组相关性分析
  基于 MC3 MAF 数据分析 HECTOR 风险组的驱动突变频率，使用双侧 χ² 检验比较各组致癌突变比例（P < 0.05）。线性回归分析 HECTOR 风险评分与免疫细胞亚群间的关联，并校正分子类别和 TMB（P < 0.05 为显著）。

  从 TCGA-UCEC 的 mRNA-seq 数据中，使用 DESeq2 比较 HECTOR 高危与低危组的基因表达差异，FDR 校正后 P < 0.05 的基因被认为显著。

辅助化疗效果分析
  我们在 PORTEC-3 研究中预测了患者的 HECTOR 风险评分，并分析了辅助化疗联合放疗与单独放疗的效果。分析方法包括：按 HECTOR 风险组分层进行 Kaplan-Meier 和 Cox 模型分析；评估 HECTOR 风险评分与治疗二元变量的交互项显著性；对高危组进行交互分析，低风险组为参考。

  同时，使用多变量 Cox 回归分析 HECTOR 风险评分与治疗交互项的显著性，分析浆液性亚型、FIGO 2009 III 期及 p53abn 对化疗的影响。所有统计检验为双侧，P < 0.05 视为显著。

结果

HECTOR模型性能
  HECTOR模型的平均C指数为0.795。

  在患者分层中，内部测试集的低风险组、风险中等组和高风险组的10年无复发概率分别为97.0%、77.7%和58.1%。在UMCG外部测试集中，低风险组的10年无复发概率为93.9%，中风险组为91.4%，高风险组为19.0%。

  显示出很强的预后价值，训练集中的HR为5.06，内部测试集的HR为2.69，UMCG外部测试集的HR为5.84。



HECTOR模型性能

与现有模型的对比
HECTOR 模型（单臂、双臂）与现有 EC 预后标准进行比较，单臂和双臂模型优于基础 CPH 模型（C-index = 0.681），HECTOR 模型表现更好（C-index = 0.762）显示独立预后价值。HECTOR 能更精准地优化 MMRd、NSMP 和 p53abn 分子类别的预后，且能更好地区分不同风险组。

使用多个 WSI 的性能
在 LUMC 外部测试集中，HECTOR 的 C 指数为 0.802，预测远处复发。使用多个 WSI（每位患者的评分平均值或中位数）稍微提高了性能，C 指数达 0.815。5 年远处无复发概率为 98.4%，高风险组为 52.6%，低风险组 5 年生存率为 88.4%。大多数病例在多个 WSI 中具有一致的风险预测。

预后因素与输入贡献的相关性
多元回归分析显示，低HECTOR风险评分与EEC亚型、1级和POLE突变等有利因素相关，而高评分与非EEC亚型、3级、FIGO III期、LVSI、p53abn、ER阴性和L1CAM阳性等不利因素相关。H&E WSI对风险评分贡献较大，尤其在3级EEC、非EEC亚型和LVSI方面。图像分子分类（如POLEmut、MMRd、p53abn）也对风险评分有重要影响。HECTOR低风险预测中，部分患者缺少不利特征，且POLE突变病例通常与FIGO II或III期相关。



通过分析带有预后因素的 HECTOR 风险评分和分析输入贡献来解释 HECTOR 的可解释性。

结果风险的形态学相关性
通过审查HECTOR低/高风险组前5%区域的H&E WSI，低风险组的形态特征包括光滑管腔、发炎基质、上皮内淋巴细胞和正常子宫肌层；高风险组则表现为不规则管腔表面、LVSI、核异型性、结缔组织增生和有丝分裂。DL分析显示，低风险组的炎症细胞密度较高，高风险组有较高的有丝分裂密度和较大肿瘤核。风险增高区域更多来自肿瘤而非侵袭性边界，低风险组两者贡献相似。



影响 HECTOR 风险评分的形态学特征

基因组改变、免疫和转录特征
分析TCGA-UCEC数据集（n = 381 FIGO I-III期ECs）发现，HECTOR低风险组富集ARID1A、CTCF、CTNNB1、FGFR2、KRAS和PTEN突变，而高风险组富集PPP2R1A和TP53突变。转录组分析显示HECTOR评分增加与记忆B细胞、活化树突状细胞和静息肥大细胞正相关，与CD8 T细胞、滤泡辅助性T细胞、调节性T细胞和自然杀伤细胞负相关。免疫标志物CD1C、BTLA和CD40LG在低风险组富集，高风险组则上调L1CAM和CLDN6等与不良预后相关的基因，而低风险组则上调与激素信号转导相关的基因（C1orf64和OVGP1）




使用 TCGA-UCEC 对 HECTOR 风险组的基因组和转录组相关性

预测辅助化疗反应
使用PORTEC-3试验数据（n = 442），评估HECTOR对化疗反应的预测能力。225名接受化疗的患者中，HECTOR风险评分与化疗反应间存在显著交互作用。分析显示，在低风险组（n = 92）和中危组（n = 177）中，治疗组远处复发概率相似；而在高风险组（n = 173）中，接受化疗的患者5年无复发概率显著高于仅放疗组（62.2% vs 42.0%）。进一步分析显示，HECTOR能够识别NSMP和MMRd分子类别中受益患者，预测效果优于现有方法。



HECTOR 风险组的 PORTEC-3 随机试验中外照射放疗联合辅助化疗对远处复发的影响

意义

预测远处复发风险
HECTOR通过H&E染色肿瘤载玻片和解剖分期，预测I-III期子宫内膜癌（EC）患者术后远处复发风险，帮助识别高风险患者。

辅助化疗反应预测
预测哪些EC患者会从辅助化疗中受益，支持个性化治疗方案的制定。

个体化治疗决策支持
根据Hector评分，为患者制定个性化治疗方案，避免过度治疗或治疗不足。

整合影像与分子数据
利用H&E图像、分子类别信息（如im4MEC）和解剖分期，提高预测准确性。

早期发现生物标志物
识别肿瘤形态学特征和生物标志物（如CLDN6、L1CAM），为靶向治疗提供依据。

降低检测成本与提高效率
通过常规H&E图像和解剖分期，降低检测成本，缩短周转时间，提供快速准确的预测。


适合更多医学场景
可以结合更多医学图像（如宫颈、卵巢、淋巴结切片、放射学图像）及临床报告，扩展应用于更多医学场景。

来源：https://www.nature.com/articles/s41591-024-02993-w#Sec2

---END---

点这里

原文地址：https://zhuanlan.zhihu.com/p/18741775291