技术负责人：袁细国
技术联系人：袁细国 联系电话：18192500021 邮箱：xiguoyuan@mail.xidian.edu.cn
关键词：智慧医疗，乳腺癌，新辅助化疗疗效评估，多模态融合
项目概况：
（一）项目背景
本项目针对医疗健康领域中乳腺癌新辅助化疗疗效评估准确性不足的核心难题，依托多模态动态光学影像（DOBI）与多模态大模型技术开展攻关，旨在突破传统新辅助化疗疗效评估准确率低、评估时间滞后等技术瓶颈，满足乳腺癌精准诊疗的迫切需求，对乳腺癌早期诊疗方案优化及改善患者生存率具有重大战略意义。
（二）项目简介
本项目开发了基于InternVL2的DOBI多模态乳腺癌新辅助化疗疗效评估系统，聚焦评估准确率低与评估时间滞后的难题，通过多模态数据融合（二维图像+三维时序数据+文本）、AI大模型推理与模型集成手段，实现了里程碑式突破：将乳腺癌新辅助化疗疗效评估时间大幅提前至第二次化疗周期，并确保评估准确率达到75%以上，该技术已在中山孙逸仙医院进行前瞻性验证，有效解决了传统钼靶/超声评估滞后性高的行业痛点，大幅度缩短无效治疗时间，为癌症精准医疗提供了无创实时监测解决方案。
（三）关键技术与创新点
本项目采用InternVL2模型基本框架，围绕多模态数据处理与融合技术攻关，重点突破多模态数据特征提取以及跨模态特征对齐等难点，通过跨模态一致性增强处理实现二维图像与三维图像序列同时处理，突破性地将乳腺癌新辅助化疗疗效评估时间从多周期缩短至第二周期（准确率75%以上），实现乳腺癌新辅助化疗的无创、无辐射、高效、准确地评估，有效缩短无效治疗时间，有助于提高患者的治愈率与生存率。以下是本项目涉及的关键技术：
关键技术一：
多模态动态光学影像数据处理：通过协同处理二维影像数据、三维时间序列影像数据和患者临床文本信息，模型能够综合各类数据的优势，提供更为精准的疗效评估。例如，影像数据能够捕捉肿瘤的形态学变化，三维时间序列数据则揭示了肿瘤在疗程中的动态演变，而临床文本数据则提供了患者的治疗历史和病理背景信息。通过协同处理这些数据，技术提升了评估模型对治疗效果的识别能力，显著提高了准确度和稳定性。
关键技术二：
跨模态一致性增强：旨在通过增强不同模态数据（如二维影像、三维时间序列图像和文本数据）之间的一致性，从而提升数据融合后的整体效果。跨模态一致性增强技术通过引入自适应的约束机制，确保不同模态的数据在共享潜在信息的同时，能够有效保留各自模态的独特特征。
图1跨模态一致性增强处理流程
关键技术三：
多模型融合技术，通过结合多个模型的优势，优化预测结果，类似于多专家诊断。不同模型对数据的敏感性各异，融合后能够互补各自的优缺点，减少单一模型的偏差。在图中的流程中，多个模型（如高SEN、高NPV、SPE与PPV等）进行初步预测后，判断是否需要缓解或优化。最终，融合结果提升了整体预测的精度和稳定性。
图2多模态融合技术流程
本项目创新点包括：
1、首次提出基于DOBI数据的乳腺癌新辅助化疗疗效评估方法，解决了传统影像评估方法在疗效评估中的滞后性、准确性差的问题。。
2、设计了多模态融合机制，突破了目前大模型无法同时处理二维图像和三维序列图像的问题，以及弥补了单一数据类型在乳腺癌疗效评估中的局限性，使不同数据类型的优势得到互补和发挥。
3、开发了多模型融合平台，实现了多个模型的有效集成，显著提高了疗效评估的稳定性。
技术成果清单：
序号 | 成果类型 | 具体内容 |
1 | | 发明专利名称（专利号） |
2 | 知识产权 | 软件著作权名称（登记号） |
3 | 标准/规范 | 参与制定国家标准/行业标准 |
4 | 其他 | （如：技术秘密、实验数据集） |
技术成熟度：
概念验证 原理样机 工程样机 中试 产业化
合作方式：
联合研发 技术入股 转让 授权（许可） 面议
