当前位置： AI资讯 > 内文

硬核科普：大模型微调技术在医院落地过程中的应用｜@攻城狮

2024-10-12 关键词： 医疗大模型

2024年政府工作报告中首次提出“人工智能+”行动，是推进数字产业化、产业数字化的重要举措。在此背景下，大语言模型技术在垂直领域的应用和落地进一步提速，且正在改变各行业的发展效率和质量。

作为连接预训练大模型与特定应用场景的桥梁，微调技术的应用对提升大模型的实用性、效率和精确度至关重要。其不仅避免了从0开始训练大模型的巨大开销，还使大模型具备了更高的价值。为探寻微调技术在医疗领域发挥的作用和优势，CDSreport 根据相关文献，整理汇总了四大类大模型微调技术。

无监督预训练Unsupervised Pre-training

无监督预训练核心方法在医疗数据量无标签的情况下，对预训练模型进行进一步的训练，让模型自行学习数据的结构和模式。在无监督微调中，模型不是从人工标注的数据中学习，而是通过自监督任务，来进一步理解和处理与医疗任务相关的数据和语言模式。这种方法可以在不依赖大量标记数据的情况下提高模型在医疗任务上的性能，尤其适用于标记数据稀缺或成本高昂的情况。通过该任务，模型可以学习到医疗领域的语言模式、知识和推理能力，为下游的医疗应用提供强大的基础。

有监督微调与高效参数微调SFT & PEFT

在大模型的医疗数据无监督预训练后，通过使用医疗相关的任务进行有监督微调，让大模型在通用的语料中更强化记忆医疗领域的知识，展示出专业的医疗领域特性。有监督微调使用与目标任务相契合的较少量特定任务数据训练模型，使大模型能够学习专业领域的知识，适应下游医疗子任务，并在医疗场景实现应用。全参数微调的原理类似于模型预训练，不同之处在于，所有的参数都已经有了一个较好的初始值，即使用较少数据继续在初始值的基础上继续训练模型更新参数。

在大语言模型发展过程中，计算规模和普及率不断上升的背景下，计算效率和资源使用的优化尤为重要。在医院场景中，保障医疗数据的安全性和隐私性是首要前提，因此大模型的训练和推理必须实现私有化。但绝大多数医院难以负担价格高昂的GPU，这也成为医疗大模型落地最大的阻碍，然而通过使用高效参数微调方法减少了大模型训练时候的资源消耗有效降低训练成本，成为医疗大模型训练过程中的首要任务。

相较于传统的全参数微调修改了所有的参数，人们发现了不同的高效参数方式。目前一种主流的观点将高效参数微调分为三类：增加式、选取式和重参数化形式。这三种方法虽然思路上不尽相同，但结果都是通过少量的参数修改，达到基于下游子任务精细化微调的目的，并在参数为数十亿的大语言模型上能取得相对较好的效果。

提示工程Prompt Engineering

由于医疗任务需要多步骤的医疗知识推理，因此大模型需要有针对性地进行训练和优化。为了解决这些问题，在微调的同时，提高大语言模型在特定任务适应性，提示工程方法被提出并得到了发展，并演变成了“训练-提示-预测”的NLP 范式。这种方法提示工程着力于调整模型的提示或标记，而保持底层语言模型参数不变，以提高模型的性能，所需的计算训练资源相较于fine-tuning 也大大减少。

在指令微调中，根据指令prompt 的不同，发展出许多性能出色的微调技术。例如，在较大规模的模型中，继Few-Shot、One-Shot、Zero-Shot等迁移学习方法后，又发展了知识增强RAG、思维链Chain-of-Thought 等提示工程代表方法。

强化学习Reinforcement Learning

医学领域是复杂的，其不仅包含了疾病、症状、指标等客观数据和规律，还涉及人体功能、症状、患病原因等多种因素。这对大模型的理解能力和推理能力提出了较高的挑战，需要其在学习医学知识的同时，具备解决复杂问题的能力，强化学习技术则成为重要的训练环节。

早在2015年，强化学习就在解决大型问题时展示了优越的性能。2017年，OpenAI 研究团队进一步提出了从人类反馈中学习奖励函数，并对此奖励函数进行优化的强化学习算法。这项研究降低了强化学习算法的复杂性，推动了深度强化学习在复杂的现实任务上的实际应用。经过实验，该方法被验证具有信赖域算法的稳定性和可靠性，且更易实施，具有更好的泛化性能和整体性能，因此逐渐成为大语言模型性能优化的重要发展方向。

医疗大模型应用与未来趋势

经过微调和优化后的大模型目前正在医疗领域发挥作用。以体现医院医疗质量的电子病历为例，惠每医疗大模型在临床决策支持系统（CDSS）的基础上，通过基座模型优化和大模型prompt 工程优化策略，使大模型具备理解病历的能力，并将病历中发现的内涵缺陷通过CDSS提示给临床医生，同时给出原因和修改意见。

在训练过程中，惠每科技算法团队通过医疗知识注入、医疗任务指令跟随和直接偏好学习的方法，显著提高了大模型对病历中关键信息的提取和分析能力，能够更好地理解和执行医疗领域特定的任务。此外，他们还制定了自动化Few-shot 示例的方案，通过初始化阶段的badcase 识别和迭代优化，以及相似度计算和多样性prompt 的加入，进一步提升了模型的预测效果和泛化能力。这一策略不仅减轻了筛选Few-shot prompt 的工作量，也为不同医院的特殊case提供了快速修复的可能。

在此基础上，惠每医疗大模型还能够辅助医生完成鉴别诊断、出院小结等病历书写工作，提升病历书写效率，并在出现病历缺陷或医生需要查阅时，基于爱思唯尔等权威医学知识库的相关文献、标准、指南等自动推荐或以对话形式呈现。

经过训练和微调，医疗大模型使得辅助决策、影像设备辅助、健康管理、医疗机器人控制等AI医疗的典型应用场景更加智能，并进一步将流程和场景串联，利用生成的数据反馈于诊断、决策、治疗、管理等医疗过程。未来，医疗大模型的深层价值或将是利用全生命周期的健康数据管理拓宽并延长医疗的空间。

参考资料：

1. 张钦彤，王昱超，王鹤羲，王俊鑫，陈海．大语言模型微调技术的研究综述[J/OL]．计算机工程与应用.

2. HOULSBY N, GIURGIU A, JASTRZEBSKI S, et al. Parameter-efficient transfer learning for NLP[J]. 2019. DOI: 10.48550/arXiv.1902.00751.

3. MARTIN A, ASHIISH A, PAUL B, et al. Tensorflow: large-scale machine learning on heterogeneous distributed systems[J]. 2016. DOI:10.48550/arXiv.1603.04467.

4. CHRISTIANO P, LEIKE J, BROWN T B, et al. Deep reinforcement learning from human preferences[J]. 2017. DOI: 10.48550/arXiv.1706.03741.

5. LEE H, PHATALE S, MANSOOR H, et al. RLAIF: Scaling reinforcement learning from human feedback with AI feedback[M]. 2023.

6. 张一帆,张泽瑞,董敬,等.大模型时代下的医疗人工智能技术进展与挑战[J].中国医学装备,2024,21(6):189-194.DOI:10.3969/j.issn.1672-8270.2024.06.036.