具体的详细笔记可以私信我。
一、模型
1.1 RuiPath病理视觉基础模型
RuiPath-VisionFoundation-V1.0 是一个基于 ViT 模型结构，通过 DINOv2 训练方式在瑞金百万规模病理 WSI图像数据基础上进行自监督学习训练。该数据集覆盖在中国全癌种发病人数 90% 的癌种。
数据集：瑞金医院伦理委员会批准的临床活检或手术切除标本，含 700 张高质量带计算病理学下游任务标签的 WSI 图像，含有7个病种。乳腺癌、结直肠癌、甲状腺癌、胃癌、胰腺癌、前列腺癌、肺癌
测试集：12第三方公开数据集
二、文献
2.1 三阴性乳腺癌综合分子和预后分层的深度学习框架
文献名：Deep learning framework for comprehensive molecular and prognostic stratifications of triple-negative breast cancer（三阴性乳腺癌综合分子和预后分层的深度学习框架）
影响因子：6.3
摘要：三阴性乳腺癌( triple-negative breast cancer，TNBC )是最具挑战性的乳腺癌亚型。分子分层和靶向治疗为TNBC患者带来临床获益，但在临床实践中很难实施全面的分子检测。在这里，使用我们的多组学TNBC队列( N = 425)，设计并验证了一个基于深度学习的框架，用于从病理全切片图像中综合预测分子特征、亚型和预后。该框架首先结合神经网络对WSIs上的组织进行分解，然后根据特定的组织类型训练第二个神经网络，以预测不同的目标。分析多组学分子特征，包括体细胞突变、拷贝数改变、胚系突变、生物学通路等。
乳腺癌分类：
Luminal A型：ER阳性，PR阳性或阴性，HER2阴性，Ki-67低表达（通常<14%）。这是最常见的亚型，占所有乳腺癌的50%-60%，预后较好，复发率低，主要通过内分泌治疗。
Luminal B型：ER阳性，PR阳性或阴性，HER2阴性或阳性，Ki-67高表达（≥14%）。该亚型占15%-20%，具有更高的增殖率和复发率，预后较Luminal A型差。
HER2阳性型：HER2阳性，ER和PR阴性。该亚型占10%-15%，肿瘤生长迅速，预后较差，但对HER2靶向治疗（如曲妥珠单抗）敏感。
三阴性乳腺癌（TNBC）：ER、PR和HER2均为阴性。该亚型占所有乳腺癌的15%-20%，具有高度侵袭性，预后最差，但对化疗敏感。
数据集：复旦大学附属肿瘤医院( FUSCC )的多组学TNBC队列和来自癌症基因组图谱( TCGA )的TNBC病例。链接：数据集链接：https://figshare.com/articles/dataset/TCGA/25138580
成果：开发了一个名为Deep Path的在线平台，用于数据管理和实时一站式预测。
2.2、通过使用人工智能赋权显微镜来提高Ki67评估的一致性：一项多机构的环形研究
文献名：Improving Ki67 assessment concordance by the use of an artificial intelligence‐empowered microscope: a multi‐institutional ring study（通过使用人工智能赋权显微镜来提高Ki67评估的一致性：一项多机构的环形研究）
影响因子：4.1 中科院一区
摘要：核增殖生物标志物Ki67在乳腺癌治疗中具有潜在的预后和预测作用。然而，Ki67评估缺乏病理医师间的一致性，限制了Ki67的临床应用。本文的目的是报告一种利用人工智能( AI )增强的显微镜来提高Ki67评分一致性的解决方案。
我们开发了一种人工智能赋能显微镜，其中传统显微镜配备了人工智能算法，人工智能结果通过增强现实技术实时提供给病理学家。我们招募了来自五所院校的 30 名具有不同经验水平的病理学家，对来自浸润性乳腺癌患者的 100 张 Ki67 染色切片进行 Ki67 标记指数评估。第一轮，病理学家在传统显微镜上进行目测评估；第二轮，他们在参考卡的辅助下进行评估；第三轮，他们在人工智能显微镜的辅助下进行评估。在视觉评估方面，经验丰富的病理学家比经验不足的病理学家（ICC = 0.807，平均误差 = 11.0%）具有更好的重现性和准确性[类内相关系数 (ICC) = 0.864，平均误差 = 8.25%]。此外，使用参考卡后，经验不足的病理学家（ICC = 0.836，平均误差 = 10.7%）和经验丰富的病理学家（ICC = 0.875，平均误差 = 7.56%）的可重复性和准确性都有所提高。最后，经验丰富的病理学家（ICC = 0.937，平均误差 = 4.36%）和经验不足的病理学家（ICC = 0.923，平均误差 = 4.71%）在使用人工智能显微镜后，可重复性和准确性都有显著提高。
数据集： 2017年1月至 2019年1月在河北医科大学第四医院进行 Ki67 IHC 检查的 100 例浸润性乳腺癌。
成果：为后续AI与机器结合开辟了新的路径，本篇文献通过把AI 与显微镜结合，把AI结果显示在目镜上，更加方便了医师进行诊断治疗。
2.3、通过 ResoMergeNet 深度学习精通乳腺、结肠和肺组织病理学，推进癌症诊断和预后
文献名：Advancing cancer diagnosis and prognostication through deep learning mastery in breast, colon, and lung histopathology with ResoMergeNet（通过 ResoMergeNet 深度学习精通乳腺、结肠和肺组织病理学，推进癌症诊断和预后）
影响因子：6.3
摘要：癌症作为一种全球健康威胁，需要有效的诊断解决方案来应对其对公共健康的影响，特别是对乳腺癌、结肠癌和肺癌。早期和准确的诊断对于成功治疗至关重要，这促进了电脑辅助诊断系统作为可靠和经济高效工具的兴起。组织病理学以其在癌症影像学中的精确性而闻名，已成为乳腺癌、结肠癌和肺癌诊断领域的关键。然而，尽管深度学习模型在该领域已得到广泛探索，但它们在泛化到不同的临床设置以及有效捕获局部和全球特征表示方面经常面临挑战，特别是对于多类任务。这强调了对模型的需求，这些模型可以减少偏差，提高诊断准确性，并最大限度地减少癌症分类任务中的错误易感性。为此，我们引入了 ResoMergeNet (RMN), 这是一种先进的深度学习模型，旨在使用乳腺癌、结肠癌和肺癌的组织病理图像进行多类和二元癌症分类。ResoMergeNet 集成了增强特征表示的 Resboost 机制和优化特征提取的 ConvmergeNet 机制，从而提高了诊断准确性。与核心状态模型的比较评估显示了 ResoMergeNet 的卓越性能。在 LC-25000 和 BreakHis (400 倍和 40 倍放大) 数据集上进行验证后，ResoMergeNet 表现出卓越的性能，在准确度、灵敏度、精度和二分类 F1 评分方面均达到 100% 的完美分数。对于来自 LC25000 数据集的五类多类分类，它在所有性能指标上都保持了令人印象深刻的 99.96% 的分数。当应用于 BreakHis 数据集时，ResoMergeNet 在 400 倍放大率下达到了 99.87% 的准确度、99.75% 的灵敏度、99.78% 的精度和 99.77% 的 F1 评分。在 40 倍放大率下，它仍然提供了稳健的结果，准确度、灵敏度、精度和 F1 评分均达到 98.85%。这些结果强调了 ResoMergeNet 的有效性，标志着乳腺癌、结肠癌和肺癌诊断和预后系统的实质性进展。ResoMergeNet 卓越的诊断准确性可以显著减少诊断误差，最大限度地减少人为偏差，并加快临床工作流程，使其成为提高癌症诊断和治疗效果的有价值工具。
数据集： BreakHis数据集：https://www.kaggle.co m/ambarish/breakhis
LC-25000 数据集：https://www.ka ggle.com/datasets/andrewmvd/lung-and-colon-cancer-histopathological-images
成果：ResoMergeNet是基于ResNet50网络构建的高级模型，受益于策略性迁移学习，并包含两个关键子块：ResBoost块和ConvmergeNet块。利用ResBoost强大的特征增强能力和ConvmergeNet对局部和全局信息的有效融合，从该网络中训练的模型表现出优异的性能。、
术语词：
【基础组件】：
梯度提升（Gradient Boosting）：迭代构建决策树组合（集成学习）Cox比例风险模型：经典统计学习方法（广义线性模型）
残差学习（Residual Fitting）：传统统计优化技术
【核心原理】：
第一步： 用基础模型（如线性回归/Cox模型）拟合原始生存数据 → 得到初始预测
第二步： 对残差进行建模计算观测值与初始预测的残差（实际事件发生概率 - 预测概率），用梯度提升树（如XGBoost、LightGBM）学习这些残差的非线性模式。
【特点】
多模型融合基础模型（线性/Cox） + 非线性树模型（GBDT） → 兼具解释性与预测精度
**动态拟合残差：**迭代优化时重点关注难预测样本，提升模型抗噪能力
**支持现代GBM框架：**可对接XGBoost/LightGBM/CatBoost，自动处理缺失值与特征交互】
【作用】
ConvMergeNet 是一种专为 多模态医学数据融合 设计的深度学习模型，特别擅长整合病理图像与基因组数据，用于精准的癌症预后预测（如乳腺癌生存分析）
【解决】
解决了病理图像（WSI：高维空间特征）与基因数据（低维向量）的维度与语义鸿沟，即异构数据融合难题
【关键技术模块】
1.**多尺度图像特征提取（Conv Branch）**使用 非对称卷积组（Asymmetric Convolution Blocks）同时捕获：细胞级细节（3×3卷积）组织结构上下文（5×5 / 7×7卷积）
2.**基因组特征升维（MLP Branch）**深度神经网络将基因特征（如50维）映射至高维空间（≥512维）
3.跨模态门控融合（Cross-modal Gating）
动态权重分配机制：通过基因特征生成注意力掩码 → 筛选相关图像区域
【架构】
ConvMergeNet 的核心创新在于其精心设计的多模态融合架构，专门用于整合病理图像（高维、空间信息丰富）和基因组数据（低维、向量化）。
其一：双分支输入层，分为病理图像分支以及基因组数据分支。
病理图像分支：输入为组织病理学图像块，骨干网络通常采用预训练的卷积神经网络，功能就是为了提取图像的多尺度空间特征。
基因组数据分支：
输入的是基因表达谱等，结构式多层感知机(MLP)，由多个全连接层和激活函数组成。功能是将低维的基因组数据进行线性变换和升维，将其映射到与图像特征空间兼容的潜在的特征空间。
其二：特征表示空间对齐
目的就是为了缓解不同模态特征之间由于来源和尺度差异造成的语义鸿沟
其三：跨模态门控融合层
输入：图像分支的特征图 F_img(shape: B x C_img x H x W) 和基因组分支对齐/转换后的特征图/向量 F_gene(shape: B x C_gene [x 1 x 1])。C_img和 C_gene通常在融合前被调整为相同维度 C。
融合机制是动态权重生成以及特征融合。这是一种软注意力机制，允许模型根据不同模态信息源在特定区域或特征通道上的相关性和置信度，自适应地决定融合比例。避免了简单拼接 (Concatenation) 或平均 (Average/Sum) 忽略模态间复杂关系的缺点。
2.4、使用机器学习方法进行多模态集成，促进 HR+/HER2 - 乳腺癌风险分层
文献名：Multimodal integration using a machine learning approach facilitates risk stratification in HR+/HER2− breast cancer（使用机器学习方法进行多模态集成，促进 HR+/HER2 - 乳腺癌风险分层）
影响因子：10.6
摘要：激素受体阳性( HR + ) /人表皮生长因子受体2阴性( HER2 - )乳腺癌是最常见的乳腺癌类型，其持续复发仍是重要的临床问题。目前针对HR + / HER2乳腺癌患者的复发预测模型仍存在局限性。多维数据的整合代表了预测复发的一种有前途的替代方法。在本研究中，我们利用包含579例HR + / HER2乳腺癌患者( 200例患者通过7个模态获得完整数据)的多组学队列，开发了一个基于机器学习的模型CIMPTGV，该模型集成了临床信息、免疫组织化学、代谢组学、病理组学、转录组学、基因组学和拷贝数变异，用于预测HR + / HER2乳腺癌的复发风险.
数据集： 私有数据集，不对外公开，2009年至2016年间诊断为HR + (雌激素受体阳性[ ER + ]或孕激素受体阳性[ PR + ])和HER2单侧浸润性乳腺癌的579例患者。
成果：CIMPTGV模型优于其他模型，并显示出良好的分层效果。多模态模型适用于HR + / HER2型乳腺癌患者的大多数临床亚组，并能有效区分高、低风险复发组。
术语词：
- HR+表示的是激素受体其中，ER是雌激素受体，PR是孕激素受体。
- ER 和 PR 的表达状态：如果肿瘤细胞表达雌激素受体（ER）和/或孕激素受体（PR），则称为激素受体阳性（HR+）乳腺癌。
- 预后：HR+乳腺癌通常比三阴性乳腺癌（TNBC）预后较好，但复发风险较高，需要长期随访。
HR + / HER2-乳腺癌是指肿瘤细胞表达激素受体（ER和/或PR），但不表达 HER2。是一种常见的乳腺癌亚型，主要通过内分泌治疗进行管理。
人类表皮生长因子受体2(HER2) - HER2 的表达状态：如果肿瘤细胞过度表达 HER2 蛋白（通过免疫组化检测）或存在 HER2 基因扩增（通过荧光原位杂交检测），则称为 HER2 阳性（HER2+）乳腺癌。
- “HRD”指的是同源重组修复缺陷（Homologous Recombination Deficiency），是一个肿瘤精准治疗中的重要生物标志物。