PRISM2模型利用临床对话解读病理切片

由Paige与微软联合开发的PRISM2，通过基于perceiver的编码器整合组织切片与病理报告对话数据进行训练，可生成诊断文本而非仅分类像素。该模型每片聚合数千个切片嵌入为一个表征，训练数据涵盖230万全切片图像及685,507份病理报告（经GPT-4o转为问答对）。

架构分两阶段：第一阶段训练切片编码器，将切片特征聚合为与报告语言相关的向量；第二阶段冻结编码器，仅微调语言模型，采用单轮对话监督，不加入多轮历史。双损失函数同时训练：BioGPT文本嵌入驱动对比目标，Phi-3 Mini执行自回归目标，平衡检索与生成能力。

PRISM2采用双嵌入设计：基础嵌入来自切片编码器，适用于生物标志物预测；诊断嵌入来自40亿参数语言模型，专注癌症检测与亚型分类，生存任务另有微调嵌入。

性能表现方面，PRISM2在乳腺癌、前列腺癌检测任务上平衡准确率与临床级产品相当或超越，乳腺癌淋巴结分类优于Paige BLN。全癌检测中，诊断嵌入AUC达0.967，高于基础嵌入（0.956）及早期模型（PRISM 0.947、TITAN 0.931）。罕见癌症检测AUC降至0.957，归因于训练样本稀疏。线性探测显示其表征质量优于端到端微调。