【医学大模型】大模型 + 长期慢病的预测和管理

大模型 + 长期慢病的预测和管理

提出背景
长期慢病框架
慢性疾病检测框架
如何实现多提示工程
为什么使用多提示

慢性疾病管理框架
个性化提示工程
医学知识注入

提出背景

论文：https://arxiv.org/abs/2401.12988

慢性疾病是指那些需要长期管理和治疗的疾病，包括心脏病、糖尿病、慢性呼吸道疾病等。

心理障碍，如抑郁症、焦虑症等，也被归类为慢性疾病，因为它们通常需要长期的关注和管理。

在这个研究框架中，虽然主要关注的是通过用户生成的文本内容来检测心理障碍，但这个方法同样适用于广泛的慢性疾病管理，包括但不限于心理健康问题。

论文的解法框架是，医学大模型 + 提示词。

我懵了，我也是这样用的，这个方法和我的有啥区别。

在这里插入图片描述

提示词的形状：如闭包提示（Cloze）或前缀提示（Prefix）。
提示的创建方式：手动或自动化。
提示的类型：离散（Discrete）或连续（Continuous）。
提示的变化性：静态（Static）或动态（Dynamic）。

区别就是：

传统的提示词通常是静态且手动设计的，需要依据人类的直觉和理解来创建。
这个多提示词是动态生成的多个提示词，并且是通过自动化的流程来创建。

多提示工程，通过设计和应用多个提示（prompts）来引导预训练的大型语言模型（如GPT、BERT等）完成特定的下游任务。

在这个上下文中，“提示”通常是一段文本，用于启动模型的某种预期回应。

这些提示可以采取不同的形式，比如填空题（cloze tasks），其中某些词或短语被遮蔽（通常表示为[mask]），模型需要预测这个遮蔽部分；或者前缀提示（prefix prompts），其中模型被给定一个开头，需要继续生成文本。

长期慢病框架

慢性疾病检测框架

慢性疾病检测框架专注于利用这些技术来提高疾病检测的准确性和效率，特别是通过用户生成的文本内容来识别慢性疾病的迹象和症状。

问题：在慢性疾病管理中，如何有效利用用户生成的文本内容进行疾病检测，尤其是在数据标注成本高昂和模型泛化能力有限的情况下。

解法：基于大型语言模型（LLMs）和多提示工程的慢性疾病检测框架。

在这里插入图片描述

拆解

特征1：前缀调优（Prefix-tuning）
- 为个性化提示创建定制的前缀，适应每个用户的独特文本内容。
- 之所以使用前缀调优，是因为每个用户的表达方式和疾病相关的文本特征都是独特的，需要个性化的处理方法来提高检测准确性。
特征2：规则基提示（Rule-based Prompts）
- 通过逻辑规则和医学知识整合，设计出具体疾病相关的提示，简化复杂的文本分类任务。
- 之所以采用规则基提示，是因为它能有效地将复杂任务分解为更易处理的子任务，并利用医学知识增强模型的理解能力。
特征3：多提示工程（Multi-prompt Engineering）
- 结合前缀调优和规则基提示技术，通过多种提示策略提升慢性疾病检测的效率和准确性。
- 之所以实施多提示工程，是因为不同的提示方法可以针对疾病检测的不同方面，提供更全面的信息，从而提高模型的泛化能力和准确度。

首先，前缀调优提供了个性化的基础，允许模型针对每个用户的独特内容生成定制化的提示。

接着，规则基提示通过整合医学知识，使得提示更加具有针对性，能够更有效地指导模型识别特定疾病的特征。

检测框架中的前缀调优和规则基提示，则更专注于提高疾病检测的准确性，通过精细调整模型来识别特定的疾病特征。

最后，多提示工程将这两种技术结合起来，利用多种提示策略来增强模型的检测能力，提高在处理慢性疾病检测任务时的准确性和效率。

比如，在利用用户生成的文本内容检测抑郁症时，首先通过前缀调优生成针对特定用户的个性化提示。

然后，规则基提示利用与抑郁症相关的医学知识（如症状、触发因素等）来设计更具体的提示，帮助模型更准确地识别与抑郁症相关的文本特征。

最终，通过多提示工程的应用，结合个性化提示和基于医学知识的规则提示，实现了对抑郁症检测任务的高效和准确处理。

这一过程体现了从个性化提示到医学知识注入，再到综合多种提示策略，每一种技术都为提高慢性疾病检测的准确性和效率做出了贡献。

如何实现多提示工程

1. 提示设计
假设研究人员正在处理一项情感分析任务，目的是识别文本中的情感极性。研究人员可能会设计以下提示：

手动设计的提示： “这句话表达了一种[填空]的情绪。”
自动化生成的提示：使用算法根据情感分析的常用词汇和短语来生成提示，例如，“感觉上来说，这人似乎很[填空]。”

2. 提示集成
接下来，研究人员可能同时使用多个不同的提示来捕捉文本的多个维度：

“看完这条评论，我感到非常[填空]。”
“这个评论的整体情绪可以用[填空]来描述。”
“如果我是作者，我写这句话的时候可能会感到[填空]。”

模型将对每个提示分别给出反应，然后研究人员将这些反应整合起来，以得到更全面的情感分析结果。

3. 提示增强
研究人员可能会对一些原始提示进行修改，以提供更多上下文：

原始提示：“评论的情感是[填空]。”
增强后的提示：“考虑到这是一篇电影评论，我们可以说这篇评论的情感是[填空]。”

4. 提示组合
对于处理含有比较和对比情绪的复杂文本，可以将多个简单的提示组合起来：

“与前一句相比，这句话更[填空]。”
“考虑到整篇文章的语境，这段话显得特别[填空]。”

5. 提示分解
在处理包含多种情感的长篇文本时，研究人员可能会将任务分解：

子任务1的提示：“文章的第一部分让人感觉[填空]。”
子任务2的提示：“转折点后的情绪变化是[填空]。”
子任务3的提示：“结尾的句子给人的印象是[填空]。”

为什么使用多提示

性能提升：通过多样化的提示，模型可以从不同角度理解和处理任务，这通常能提高任务的准确性和鲁棒性。
灵活性：多提示工程允许模型适应各种任务，即使对于同一任务的不同实例，也可以动态调整提示以获得最佳结果。
少样本学习：在训练样本有限的情况下，多提示工程可以帮助模型更好地利用其预训练知识，提高其对少数样本的泛化能力。

多提示工程通过精心设计的提示来充分利用大型语言模型的能力，以适应并解决各种NLP任务。

慢性疾病管理框架

管理框架需要考虑到患者管理的全面性，包括与患者的互动、疾病进展的监测以及健康建议的提供。

慢性疾病管理框架侧重于整个慢性疾病管理流程，包括但不限于疾病的早期识别、治疗监测、病情跟踪以及患者教育。

它强调的是如何利用LLMs和多提示工程在患者的整个疾病管理周期中提供支持。

拆解

特征1：个性化提示工程 - 开发个性化提示来表示每个用户的独特性。
- 之所以使用个性化提示工程，是因为不同用户对于相同的心理疾病可能表现出不同的语言模式和行为特征。
特征2：医学知识注入 - 将医学知识融入提示中，为慢性疾病检测提供上下文。
- 之所以注入医学知识，是因为这可以帮助模型更准确地理解和识别与特定慢性疾病相关的文本内容。
特征3：少样本学习 - 能够通过极少量的训练样本来有效地识别疾病。
- 之所以采用少样本学习，是因为在实际应用中很难获得大量的标注数据，特别是对于心理健康状况的数据。

管理框架中的个性化提示工程和医学知识注入，侧重于为每个用户定制化服务，不仅仅是从疾病检测的角度，还包括疾病的整体管理和教育。

首先，个性化提示工程允许系统针对每个用户的独特性生成定制化的提示，这是基础。

接着，通过医学知识的注入，这些提示被赋予了能够指导模型理解和操作具体疾病检测任务的上下文信息。

最后，这种结合个性化和医学知识的提示设计使得模型能够在只有少量样本的情况下也能进行有效学习和疾病识别，这是少样本学习的关键。

比如，在使用这个框架来检测抑郁症时，首先根据用户的独特表达习惯设计个性化的提示。

这些提示在设计时，会融合专业的医学知识，比如抑郁症患者常见的表达习惯、情绪表现等。

然后，即使仅有极少数用户的文本数据可用于训练，通过这样精心设计的提示，模型也能准确地识别出抑郁症的文本特征。

这个过程展示了从个性化提示设计到医学知识注入，再到少样本学习的逻辑链条，每一步都为下一步奠定了基础。