大语言模型在病理AI领域的应用·1|24-07-17·文献速递

小罗碎碎念

今日文献主题:大语言模型技术在病理组学中的应用

这次从厦门开会回来以后,一直在思考大语言模型在病理AI中的一个应用场景,为了辅助自己得出一个科学的结论,我搜集了最新发表的30篇与之相关的文献,用6期推文分别与大家探讨一下这个问题的答案,最后会有一篇汇总的推文,系统的总结这几十篇文献背后暗含的发展趋势。

image-20240717173859819


一、Prov-GigaPath|基于大规模真实世界数据预训练的全切片数字病理基础模型

image-20240717160203426

一作&通讯

角色姓名单位名称(中文)
第一作者Hanwen Xu微软研究院,华盛顿州雷德蒙德,美国
第一作者(共同)Naoto Usuyama华盛顿大学保罗G.艾伦计算机科学与工程学院,华盛顿州西雅图,美国
通讯作者Carlo BifulcoProvidence基因组学,俄勒冈州波特兰,美国
通讯作者(共同)Sheng Wang华盛顿大学保罗G.艾伦计算机科学与工程学院,华盛顿州西雅图,美国
通讯作者(共同)Hoifung Poon微软研究院,华盛顿州雷德蒙德,美国

文献概述

这篇文章介绍了Prov-GigaPath,一个基于大规模真实世界数据预训练的全切片数字病理基础模型,它通过创新的GigaPath架构在多种病理学任务上实现了最先进的性能。

  1. 背景与挑战

    • 数字病理学在处理标准千兆像素切片时面临独特的计算挑战,这些切片可能包含数万个图像瓦片。
    • 现有的模型通常通过对每个切片的一小部分瓦片进行抽样,从而错过了重要的切片级上下文
  2. Prov-GigaPath模型

    • 作者介绍了Prov-GigaPath,这是一个在1.3亿个256×256病理图像瓦片上预训练的全切片病理基础模型,这些图像瓦片来自美国大型健康网络Providence的171,189个全切片。
    • Prov-GigaPath利用了一种新的视图变换器架构GigaPath进行预训练,该架构适用于千兆像素病理切片的预训练。
  3. 预训练方法

    • 为了在切片级别进行学习,GigaPath采用了新开发的LongNet方法,以适应数字病理学
    • Prov-GigaPath在预训练中使用了DINOv2和带掩码的自编码器,结合LongNet进行图像级和切片级的自监督学习。
  4. 评估与性能

    • 作者构建了一个包含9个癌症亚型任务和17个病理组学任务的数字病理基准,使用Providence和TCGA数据进行评估。
    • Prov-GigaPath在26个任务中的25个上达到了最先进的性能,并且在18个任务上显著优于第二好的方法。
  5. 多模态预训练

    • 作者还展示了Prov-GigaPath在病理报告的视觉-语言预训练中的潜力,通过结合病理报告继续预训练Prov-GigaPath。
  6. 模型架构与应用

    • Prov-GigaPath由瓦片编码器和切片编码器组成,瓦片编码器捕获局部特征,切片编码器捕获全局特征。
    • 该模型在多种临床应用中表现出色,包括癌症亚型预测和突变预测。
  7. 开放资源

    • Prov-GigaPath是一个开放权重的基础模型,包括源代码和预训练模型权重,以加速数字病理学的研究进展。
  8. 未来展望

    • 作者讨论了Prov-GigaPath在临床诊断和决策支持中的潜力,并提出了未来研究的方向,包括探索更大的模型和数据集,以及优化预训练过程。

文章强调了大规模预训练和超大型上下文建模的重要性,并展示了Prov-GigaPath在各种数字病理任务中的卓越性能。


重点关注

图1提供了对Prov-GigaPath模型架构的清晰概览,该模型是一个用于数字病理学应用的深度学习系统。

image-20240717161729984

以下是对模型架构的分析:

a. Prov-GigaPath架构流程:

  • 瓦片化(Tiling):模型首先将每个输入的全切片图像(Whole Slide Image, WSI)序列化为按行主序排列的256×256像素的图像瓦片序列。
  • 瓦片级编码(Tile-level Encoding):接着,使用图像瓦片级编码器将每个图像瓦片转换成视觉嵌入(visual embedding)。这是模型的初级阶段,目的是从单个瓦片中提取局部特征。
  • 切片级编码(Slide-level Encoding):然后,Prov-GigaPath应用基于LongNet架构的切片级编码器来生成上下文化的嵌入(contextualized embeddings)。这一步骤考虑了整个瓦片序列,用以捕获全局特征和切片整体的上下文信息。
  • 下游应用(Downstream Applications):生成的上下文化嵌入可以作为多种下游应用的基础,如癌症亚型分类、突变预测等。

b. 使用DINOv2进行瓦片级预训练:

  • 在瓦片级预训练中,模型使用DINOv2,这是一个先进的自监督学习框架,用于训练图像瓦片级编码器。DINOv2通过自监督学习帮助模型从未标记的数据中学习特征表示

c. 使用带掩码的自编码器和LongNet进行切片级预训练:

  • 在切片级预训练中,模型结合了带掩码的自编码器和LongNet架构。自编码器通过重构被部分掩盖或扰动的输入来学习数据的有效表示。LongNet是一个特别设计用于处理长序列的神经网络架构,它使得模型能够处理包含数千个图像瓦片的全切片图像。
  • [CLS]分类标记(Classification Token):在Transformer模型中,[CLS]标记用于聚合序列信息并进行分类任务。在Prov-GigaPath中,它可能用于聚合瓦片级别的特征以进行切片级别的分类。

整个Prov-GigaPath模型的设计允许它有效地从局部和全局角度捕获病理切片的复杂特征,这些特征对于精确的病理诊断和分析至关重要。

通过这种多尺度的预训练和特征提取方法,Prov-GigaPath能够为各种病理学任务提供强大的基础模型。


二、前列腺癌治疗的未来:人工智能驱动的护理创新image-20240717160218277

一作&通讯

作者角色作者姓名单位(英文)单位(中文)
第一作者Irbaz Bin Riaz, MD, MS, MBI, PhDDivision of Hematology and Oncology, Department of Internal Medicine, Mayo Clinic, Phoenix, AZ亚利桑那州梅奥诊所内科血液学和肿瘤学系
通讯作者Liang Cheng, MD, MSDepartment of Pathology and Laboratory Medicine, Department of Surgery (Urology), Brown University Warren Alpert Medical School, Lifespan Health, and the Legorreta Cancer Center at Brown University, Providence, RI布朗大学沃伦·阿尔珀特医学院病理学和实验室医学系,外科(泌尿外科),布朗大学生命健康系统,布朗大学莱戈雷塔癌症中心,罗德岛州普罗维登斯

文献概述

文章探讨了人工智能(AI)在前列腺癌护理中的应用,旨在提高护理效率和患者预后。

概述

  • 前列腺癌护理领域迅速发展,从传统的影像学、根治性手术和单一荷尔蒙剥夺疗法,过渡到先进的影像学、精准诊断、基因组学和靶向治疗。
  • 大型语言模型(LLMs)的出现极大地改变了AI的应用范式。
  • 文章回顾了AI在前列腺癌护理中的应用,包括早期干预、生存护理、药物发现、临床试验和临床实践指南。

引言

  • 前列腺癌是美国仅次于肺癌的癌症死亡主要原因。
  • 预计到2040年,前列腺癌的新发病例将从2020年的140万增加到290万。
  • 先进的影像学和靶向治疗选项,以及基因组学指导的治疗方法,正在改变前列腺癌的管理。

前列腺癌筛查

  • 美国预防服务工作组(USPSTF)建议对55-69岁的男性进行个体化的前列腺特异性抗原(PSA)筛查。
  • AI模型可以通过长期电子健康记录(EHRs)数据来识别高风险前列腺癌患者。

局部前列腺癌

  • 通过超声引导的前列腺活检和MRI成像来诊断前列腺癌。
  • AI在早期诊断和风险分层中的作用包括提高诊断的准确性和风险分层的初始阶段。

实际应用

  • AI在前列腺癌护理中的整合可以增强临床决策、降低文档负担、加速证据生成和综合以及药物开发。
  • 在局部前列腺癌中,AI已经取得了显著进展,包括早期检测、靶向活检、分级、疾病预后和结果预测。

转移性前列腺癌

  • AI在转移性前列腺癌中的作用包括量化转移负担、准确识别去势抵抗和预测治疗敏感性和抵抗性。
  • 多模态数据整合,包括影像学、基因组学和临床信息,有望为精细化预后和个性化治疗选择提供帮助。

大型语言模型

  • LLMs有望通过从患者电子健康记录中提取信息,降低维护临床-基因组注册表的努力,并促进临床试验生命周期内的信息收集和报告。

临床试验

  • AI可以促进临床试验的设计和操作,包括药物开发、证据综合和临床实践指南。
  • AI模型可以帮助匹配患者与临床试验,并通过深度学习技术进行预测分析和生物标志物发现。

结论

  • AI技术有望从早期干预到临终治疗,从证据生成到临床实践指南和患者特定治疗效果,推进前列腺癌护理。
  • 人类与AI的合作将变得越来越共生,AI通过提供准确的风险分层、个性化治疗建议和实时决策支持来增强和增强人类决策。

文章强调了AI在前列腺癌护理中的潜力,并讨论了实现这一潜力所需的挑战和未来方向。


重点关注

FIG 1 描述了在前列腺癌治疗过程中,转化型人工智能(AI)算法的主要应用领域。

image-20240717162225171

  1. 局部疾病阶段(Localized Disease Setting):

    • 在局部前列腺癌的诊断中,算法开发主要集中在提高诊断的准确性,包括:
      • 前列腺MRI上的可疑区域检测:使用AI算法在磁共振成像(MRI)上识别可能的癌症区域。
      • 诊断活检中的癌症区域检测和分级:AI技术帮助在活检样本中检测癌细胞并进行Gleason分级,这是评估肿瘤侵袭性和制定治疗计划的重要步骤。
  2. 治疗选择和决策优化:

    • 除了诊断之外,AI算法也被用于优化治疗选择和决策过程,可能包括个性化治疗计划和风险评估。
  3. 复发疾病阶段(Recurrent Disease):

    • 对于复发的前列腺癌,研究工作已经转向使用多模态基础模型来进行预后评估和提高诊断能力,包括:
      • 预后评估:利用多模态数据(如影像学、基因组学和临床数据)来预测疾病的发展和患者的预后。
      • 诊断增强:改进现有诊断工具和方法,以更准确地识别复发的癌症。
  4. 复发和晚期疾病阶段(Recurrent and Late-Stage Disease):

    • 在复发和晚期前列腺癌中,需要进一步开发的算法包括:
      • 疾病监测:开发工具以持续监测疾病状态,可能包括定期检查和实时数据分析。
      • 疾病进展评估:评估疾病进展的速度和范围,帮助调整治疗策略。
      • 患者中心结果的总体预测:预测治疗效果、生活质量和总体生存率等以患者为中心的结果。
  5. 技术应用:

    • MRI(磁共振成像):一种无创的医学影像技术,用于获取身体内部结构的详细图像,特别适用于前列腺癌的检测。
    • PSA(前列腺特异性抗原):一种血液中的蛋白质,其水平的升高可能表明前列腺存在问题,是前列腺癌筛查的常用生物标志物。

总之,FIG 1 强调了AI在前列腺癌治疗不同阶段的多样化应用,从早期诊断到疾病监测和预后评估,AI技术有潜力提高治疗的精确性和个性化水平。


三、从辅助诊断到教育支持:大语言模型在病理学领域的多维角色

image-20240717160232552

一作&通讯

角色姓名单位(英文)单位(中文)
第一作者Jerome ChengDepartment of Pathology, University of Michigan密歇根大学病理学系

文献概述

这篇文章综述了大型语言模型(LLMs)在病理学实践和教育中的多种应用,并讨论了它们的优势、局限性和未来发展方向。

  1. 引言

    • LLMs基于2017年提出的transformer神经网络架构,最初用于自然语言处理任务。
    • 随着技术进步,LLMs在多语言能力、上下文理解和推理技能方面显著提升。
  2. 教育

    • LLMs在医学教育中具有潜力,可以帮助开发课程、编写演示文稿、制定学习计划等。
    • 但LLMs生成的信息可能不准确,需要与其他可靠来源进行验证。
  3. 信息提取

    • LLMs可以自动从病理报告中提取结构化信息,节省时间和成本。
    • 例如,GPT 3.5在提取病理和超声报告中的信息时表现出较高的准确性。
  4. 文本分类

    • LLMs可以用于科学文档分类,BERT等模型通过学习词之间的上下文信息进行文本分类。
  5. 报告和内容生成

    • LLMs可以帮助生成病理报告和演示文稿,提高效率。
    • 但使用LLMs生成的研究手稿存在争议,需谨慎处理引用和内容的准确性。
  6. 提示工程

    • 设计合适的问题和指令以获得LLMs的最佳响应是关键。
    • 例如,使用“让我们一步步思考”可以显著提高LLMs在零样本推理中的表现。
  7. 编程

    • LLMs可以帮助设计和创建程序,提高软件开发的效率。
    • 但生成的代码需要人工验证以确保正确性。
  8. 临床病理学

    • LLMs可以辅助解释实验室测试,但不能完全替代专业人员的判断。
    • 例如,ChatGPT在血液涂片图像识别中的表现有待提高。
  9. 多模态大型语言模型

    • 这些模型可以提供显微图像的文本描述,并用于对象检测和计数。
    • 例如,PathAsst结合了视觉变换器和BERT模型,表现出色。
  10. 挑战和限制

    • LLMs可能存在偏见和知识剽窃问题,且可能犯错。
    • 需要手动监督以确保LLMs生成的内容没有不当内容。
  11. 结论

    • LLMs的能力在快速增长,但需要谨慎使用,避免过度依赖。
    • 未来的LLMs将继续改进,增加更多的防护措施和训练以减少错误。
  12. 未来方向

    • 预计LLMs和多模态LLMs将继续改进,增加更多的防护措施和训练以减少错误。
    • 将开发更多的开源模型,并制定关于LLMs在科学写作和其他日常实践中的应用的指导方针。

文章强调了LLMs在病理学中的潜力,同时也指出了其局限性和需要改进的地方。


重点关注

文章中的Figure 1展示了一个例子,其中ChatGPT-4 Turbo按照给定的提示适当地执行了任务。

image-20240717162605108

具体的提示是:“你是一位经验丰富的病理学家。请以表格格式给我列出12种伴有相关免疫组化染色和分子检测的癌。” 这意味着ChatGPT-4 Turbo接收到了一个明确的指令,要求它生成一个包含特定信息的表格。

  1. 遵循指令:ChatGPT-4 Turbo能够理解并遵循具体的任务指令,这表明LLMs具备理解和执行复杂任务的能力。

  2. 专业领域知识:提示要求模型以病理学家的身份提供信息,这暗示了LLMs能够模拟具有特定专业知识的角色。

  3. 数据组织能力:要求以表格格式提供信息,显示了LLMs能够组织和展示数据,使其易于阅读和理解。

  4. 信息的准确性和可靠性:尽管LLMs可以生成看似专业的列表,但文章也强调了验证LLMs生成的信息的重要性,以确保其准确性和可靠性。

  5. 教育和实践中的应用:这个例子可能用于教育目的,展示如何使用LLMs来辅助学习和实践,同时也可能用于临床实践,作为快速获取信息的工具。

  6. 技术集成:这个例子还表明了LLMs可以如何被集成到工作流程中,以提高效率和生产力。

  7. 潜在的局限性:尽管这个例子显示了LLMs的能力,但文章也提到了LLMs可能产生的错误,包括“幻觉”(即生成不准确或不存在的信息)。

总的来说,Figure 1中的例子展示了LLMs在特定任务中的能力,同时也提醒我们在使用这些工具时需要谨慎,确保生成的信息经过适当的验证。


四、ChatGPT在病理学知识评估中的表现

image-20240717160246543

一作&通讯

角色姓名单位(英文)单位(中文)
第一作者Andrew Y. WangSchulich School of Medicine and Dentistry, Western University, London, Ontario, Canada西安大略大学舒利克医学和牙科学院,伦敦,安大略,加拿大
第一作者Sherman LinDepartment of Pathology and Laboratory Medicine, Western University and London Health Sciences Centre, London, Ontario, Canada西安大略大学病理学和实验室医学系,伦敦健康科学中心,伦敦,安大略,加拿大
通讯作者Matthew J. CecchiniLondon Health Sciences Centre, Laboratory Medicine and Pathology, London, ON, Canada伦敦健康科学中心,实验室医学和病理学,伦敦,安大略,加拿大

文献概述

这篇文章研究了ChatGPT在病理学范畴内特定知识的表现,并与人类病理学家的表现进行了比较,发现其具有辅助病理学诊断和教育的潜力。

  1. 背景

    • 人工智能(AI)算法,特别是大型语言模型(LLMs),如ChatGPT,展示了在医学等多个领域的特定领域知识。
    • 这些工具在处理大量数据、自动化常规任务和提高诊断准确性方面具有潜力,尤其是在数字病理学领域。
  2. 研究目的

    • 通过不同的大型语言模型(GPT-3.5和GPT-4),了解ChatGPT在病理学领域的知识水平。
    • 比较ChatGPT与人类病理学家的表现。
  3. 研究设计

    • 招募了15名国际病理学家,生成了类似于执照考试中可能出现的病理学问题。
    • 这些问题由GPT-3.5、GPT-4和一个最近通过加拿大病理学执照考试的病理学家回答。
    • 参与者被要求在5分制上评分,并预测哪个答案是ChatGPT写的。
  4. 结果

    • GPT-3.5的表现与病理学家相似,而GPT-4的表现超过了两者。
    • GPT-3.5和GPT-4的总体评分在满足执照考试训练生预期的范围内。
    • 除了一个问题外,评审者能够正确识别出GPT-3.5生成的答案。
  5. 结论

    • 研究表明,ChatGPT能够以与训练有素的病理学家相似(GPT-3.5)或更高(GPT-4)的水平回答病理学特定问题
    • 这突显了大型语言模型在这一领域变革的潜力。
    • 未来,这些算法的更高级迭代可能会协助病理学家并增强病理学住院医师培训。
  6. 讨论

    • 研究使用新的病理学问题评估了GPT-3.5和GPT-4的表现,并与新执业的病理学家进行了比较。
    • GPT-4在回答病理学领域特定问题方面的表现显著优于GPT-3.5
    • 研究还评估了参与者识别AI生成文本的能力,发现ChatGPT生成的答案可以通过比较可靠地被识别。
    • 尽管ChatGPT和GPT-4在参与者中总体上留下了良好的印象,但GPT-4在表现上有明显改进。
    • 研究还讨论了AI工具在学术测试中的滥用问题,以及在临床实践中实施AI工具时可能出现的误诊问题。
  7. 方法和材料

    • 研究通过X(前称Twitter)邀请病理学家参与,生成并评分问题
    • 使用Google Forms收集数据,并使用GraphPad Prism 7软件进行数据分析。
  8. 限制和未来工作

    • 研究指出了一些限制,例如问题措辞的微小变化可能导致不同的解释和回答。
    • 未来的工作将评估ChatGPT在评估选择题和视觉输入方面的能力,这在最新的迭代中被添加。

文章强调了大型语言模型在医学教育和病理学领域的潜力,并指出了其在准确性和教育应用方面的未来机会。


知识点补充

Google Forms

https://www.google.cn/intl/zh_cn/forms/about/

Google Forms 是 Google 提供的一种在线表单工具,它允许用户创建和分享电子表单,以收集数据、进行调查或管理任务。

image-20240717171857457

  1. 创建表单:用户可以通过选择不同的问题类型(如文本框、复选框、下拉菜单、评分表等)来设计表单。

  2. 数据收集:表单可以通过电子邮件或共享链接发送给参与者,参与者在线填写后,数据会自动收集到 Google Sheets 中,便于管理和分析。

  3. 协作:Google Forms 支持多人协作,团队成员可以共同编辑和查看表单。

  4. 个性化:可以根据需要定制表单的外观和样式,包括主题、颜色和字体。

  5. 响应验证:可以设置问题的回答规则,确保收集到的数据符合预期格式。

  6. 逻辑分支:表单可以包含逻辑分支,根据参与者的回答自动跳转到不同的问题,提高表单的灵活性和针对性。

  7. 隐私保护:Google Forms 提供了隐私设置,允许控制谁可以查看和编辑表单。

  8. 集成:Google Forms 可以与其他 Google 应用(如 Google Sheets、Google Drive)集成,方便数据的存储和共享。

  9. 移动支持:Google Forms 支持移动设备,用户可以通过手机或平板电脑填写和查看表单。

  10. 免费使用:基本的 Google Forms 功能是免费的,对于大多数用户来说已经足够使用。

Google Forms 是一个非常实用的工具,适用于教育、商业、非营利组织等多种场景。


GraphPad Prism 7

GraphPad Prism 是一款科学绘图和统计分析软件,广泛应用于生物科学、医学研究、化学和其他科学领域。

image-20240717172255067

  1. 数据组织:Prism 提供了灵活的数据表,可以方便地输入、编辑和组织数据。

  2. 图表绘制:支持多种图表类型,包括条形图、散点图、折线图、柱状图、面积图、饼图等。用户可以根据需要选择图表类型,并自定义图表的样式和颜色。

  3. 统计分析:内置多种统计分析工具,包括 t 检验、方差分析(ANOVA)、回归分析、非参数检验等,帮助用户进行科学的数据比较和分析。

  4. 图形导出:可以轻松将图表导出为多种格式,如 TIFF、JPEG、PNG 等,适用于发表在期刊、演示文稿或报告中。

  5. 数据导入:支持从 Excel、CSV 文件和其他数据源导入数据,简化数据准备过程。

  6. 图形编辑:提供了丰富的图形编辑工具,用户可以调整图表的标题、图例、坐标轴标签等,使图表更加清晰和专业。

  7. 数据拟合:支持多种曲线拟合模型,如线性、多项式、指数、对数等,帮助用户分析数据之间的关系。

  8. 科学计算:内置科学计算器,可以进行复杂的数学运算和转换。

  9. 数据管理:可以创建和管理多个数据集和项目,方便用户在不同研究项目中切换和比较数据。

  10. 用户界面:界面直观易用,适合初学者和专业人士使用。

  11. 支持多平台:GraphPad Prism 支持 Windows 和 macOS 系统,提供跨平台的一致体验。

GraphPad Prism 7 是科研人员和数据分析师的重要工具,帮助他们更高效、更准确地处理和展示科学数据。


五、数字病理学中的人工智能:LLMs的潜力与限制

image-20240717160301385

一作&通讯

作者角色作者姓名单位(英文)单位(中文)
第一作者Ehsan UllahAnatomical Pathology, Department of Pathology and Laboratory Medicine, Te Toka Tumai Auckland, Te Whatu Ora (Health New Zealand)解剖病理学,病理学和实验室医学系,奥克兰 Te Toka Tumai,Te Whatu Ora(新西兰健康)
通讯作者Rajendra SinghDirector of Dermatopathology and Digital Pathology, Summit Health, Woodland Park, NJ, USA皮肤科病理学和数字病理学主任,Summit Health,新泽西州伍德兰公园,美国

文献概述

这篇文章综述了在诊断医学中使用大型语言模型(LLMs)所面临的挑战和机遇,并强调了进一步研究和合作的必要性。

  1. 背景

    • 大型语言模型(如ChatGPT)在诊断医学中的整合引起了广泛关注,尤其是在数字病理学领域。
    • 尽管ChatGPT没有在医学数据上进行训练,但医疗专业人员和研究人员已经尝试使用它来分析和解释医学数据。
  2. 方法

    • 进行了范围审查,以探索在诊断医学中使用LLMs的挑战和障碍,重点是数字病理学。
    • 通过电子数据库(如PubMed和Google Scholar)进行了全面搜索,筛选了过去四年内的相关文章。
  3. 结果

    • 审查发现LLMs在诊断医学中使用的几个挑战和障碍,包括:
      • 上下文理解和可解释性的限制。
      • 训练数据中的偏见。
      • 伦理考虑。
      • 对医疗专业人员的影响。
      • 监管问题。
  4. 讨论

    • LLMs在诊断医学中的应用提供了改进临床决策支持、增强患者教育和疾病监测能力的潜力。
    • 需要考虑LLMs的优缺点,并在临床实践中整合LLMs时考虑伦理问题。
    • 文章还讨论了LLMs在图像诊断和实验室诊断中的应用,包括图像分析、特征提取、图像分类、疾病风险预测和新生物标志物的识别。
  5. 结论

    • LLMs在诊断医学中的使用具有显著的前景,但需要解决关键问题以确保其负责任和有效的整合。
    • 需要进一步的研究、验证和AI开发者、医疗专业人员以及监管机构之间的合作。
  6. 未来考虑

    • 提出了未来研究和实施中应考虑的几个关键点,包括增强LLMs的上下文理解和解释能力、协作模型开发、偏见检测和缓解、与临床决策支持系统的整合、长期研究和现实世界评估、监管和伦理指南以及用户反馈和迭代改进。

文章强调了在诊断医学中整合LLMs的重要性,并指出了实现这一目标所需的关键步骤和考虑因素。


重点关注

Fig. 1展示了大型语言模型(LLMs)在诊断病理学中的作用。

image-20240717162931702

在诊断病理学中,LLMs可能在以下几个方面发挥作用:

  1. 数据收集与预处理:LLMs需要大量的数据来训练和学习,这可能包括医学图像、临床记录和实验室结果。预处理步骤可能涉及将这些数据转换成适合LLMs输入的格式。

  2. 模型选择与训练:选择适合的LLM架构或预训练模型,并在特定的诊断任务上进行训练。这可能包括针对医学应用进行微调的模型。

  3. 特征提取与图像分析:LLMs可以被训练来自动识别和提取医学图像中的相关特征,比如肿瘤、骨折或其他解剖标志。

  4. 图像分类与诊断:LLMs可以被训练来根据图像中特定疾病或状况的存在与否对医学图像进行分类,提供初步的诊断。

  5. 图像分割与病变特征描述:LLMs可以用来将医学图像分割成不同的组织类型,或者识别和描述病变,为治疗规划和预后提供信息。

  6. 实验室测试结果分析:LLMs可以被训练来解释实验室测试结果,并将其与患者的医疗历史和其他临床数据结合起来,帮助临床医生识别模式并做出准确诊断。

  7. 疾病风险预测:使用LLMs开发预测模型,根据遗传和生活方式因素估计患者发展某些疾病的风险。

  8. 新生物标志物的识别:LLMs可以用来分析大量实验室测试结果数据集,以识别可能与特定疾病相关的新生物标志物。

  9. 临床验证:与医疗专业人员合作,验证基于LLM的诊断工具的临床相关性和实用性。

  10. 伦理考虑:在部署LLMs时,需要考虑与患者数据隐私、偏见和公平性相关的伦理问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/803283.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【解决】多个网卡导致nacos注册的服务ip有误问题

解决办法 在本地idea中启动的时候添加启动配置: 方法一 -Dspring.cloud.inetutils.preferred-networks你自己网卡的ip 方法二 -Dspring.cloud.nacos.discovery.ip你自己网卡的ip

封装网络请求 鸿蒙APP HarmonyOS ArkTS

一、效果展示 通过在页面直接调用 userLogin(params) 方法,获取登录令牌 二、申请网络权限 访问网络时候首先需要申请网络权限,需要修改 src/main 目录下的 module.json5 文件,加入 requestPermissions 属性,详见官方文档 【声明权…

陪玩系统小程序模式APP小程序H5系统搭建开发

随着移动互联网的营及和游戏行业的蓬轨发展,陪玩服务应远而生并迅速唱起,陪玩系统小程序作为连接游戏玩家与陪玩师的桥梁,其模式系统的搭建与开发是得尤为重要,本文将洋细凰述陪玩系统小程宗模式系统的搭建开发流程,包…

PCIe驱动开发(3)— 驱动设备文件的创建与操作

PCIe驱动开发(3)— 驱动设备文件的创建与操作 一、前言 在 Linux 中一切皆为文件,驱动加载成功以后会在“/dev”目录下生成一个相应的文件,应用程序通过对这个名为“/dev/xxx” (xxx 是具体的驱动文件名字)的文件进行相应的操作即…

C语言------指针讲解(2)

目录 一、数组名的理解 二、使用指针访问数组 三、一维数组传参的本质 四、冒泡排序 五、二级指针 六、指针数组 七、指针数组模拟二维数组 一、数组名的理解 通过学习,我们知道:数组名和数组首元素的地址打印出来的结果一模一样,数组…

信息安全CISSP认证重点学什么?学习后能掌握哪些安全技能?

引言: 想要在信息安全领域取得突破?那么CISSP认证是您必不可少的一步!本文将为您介绍CISSP认证的重点学习内容以及学习后可以掌握的安全技能,助您更好地了解并准备这一全球认可的信息安全证书。 随着信息安全领域的不断发展&…

【教学类-67-02】20240716毛毛虫ABB排序

背景需求: 【教学类-67-01】20240715毛毛虫AB排序-CSDN博客文章浏览阅读584次,点赞16次,收藏6次。【教学类-67-01】20240715毛毛虫AB排序https://blog.csdn.net/reasonsummer/article/details/140443310 在AB排序基础上,继续制作…

2024年带你轻松掌握最火10款项目管理软件:解决企业项目管理难题的利器

本文向您推荐10款卓越非凡的项目管理软件!它们能有效地助您梳理思绪,极大提高工作效率,使您即使身处繁忙之中仍能保持井然有序。这十款工具各具特色,从简洁明了的任务清单到复杂精密的项目追踪需求,满足各类用户群体的…

Python中的数据结构:五彩斑斓的糖果盒

在Python编程的世界里,数据结构就像是一个个五彩斑斓的糖果盒,每一种糖果都有其独特的味道和形状。这些多姿多彩,形状和味道各异的糖果盒子包括了:List(列表)、Tuple(元组)、Diction…

【Java开发实训】day05——数组常见算法

目录 一、数组翻转 1.1示例代码 1.2适用场景 二、冒泡排序 2.1示例代码 2.2适用场景 三、二分查找 3.1示例代码 3.2适用场景 🌈嗨!我是Filotimo__🌈。很高兴与大家相识,希望我的博客能对你有所帮助。 💡本文由Filotimo…

【软件建模与设计】-04-软件设计和体系结构概念

目录 1、类与对象 2、信息隐藏 2.1、示例 3、继承和泛化/特化 4、并发处理 4.1、并发对象间的协作 5、设计模式 6、软件体系结构和构件 7、软件质量属性 1、类与对象 一个对象是现实世界中物理的或概念的实体。 一个对象盖了数据(data)以及作用于数据之上的过程(pro…

Sentinel规则持久化Push模式两种实现方式

文章目录 sentinel持久化push推模式微服务端的实现具体实现源码分析读数据源写数据源的实现 微服务端解析读数据源流程 修改源码的实现官方demo修改源码实现配置类flowauthoritydegreadparamsystemgateway修改源码 测试补充 前置知识 pull模式 sentinel持久化push推模式 pull拉…

liunx面试题目

如何看当前Linux系统有几颗物理CPU和每颗CPU的核数? 查看物理cup: cat /proc/cpuinfo|grep -c ‘physical id’ 查看每颗cup核数 cat /proc/cpuinfo|grep -c ‘processor’ 若希望自动实现软件包的更新,可以使用yum-cron并启动该服务 yum -y …

解决一下git clone失败的问题

1).不开梯子,我们用https克隆 git clone https://github.com 报错: Failed to connect to github.com port 443 after 2091 ms: Couldnt connect to server 解决办法: 开梯子,然后# 注意修改成自己的IP和端口号 gi…

[HDCTF2019]MFC

[HDCTF2019]MFC-CSDN博客 不会写 完全画瓢 我还以为win32什么系统逆向 原来是小瘪三! VM保护 下载xspy(看雪上有) 打开32位的 再打开 这个窗口 把这个放大镜托到这个大窗口(里面有个小窗口,不要托错了) 下面这个 onmeg 就她不正常,是什么0464 #include <stdio.h&g…

简易ELK搭建

ELK搭建 1. elasticsearch1.1 下载1.2 ES配置1.3 启动ES1.4 开启权限认证1.5 IK分词器配置&#xff08;非必须&#xff09; 2. kibana2.1 下载2.2 配置2.3 启动kibana 3. logstash3.1 下载3.2 配置3.3 启动logstash 4. springboot推送数据 ELK包括elasticsearch、logstash、kib…

自然语言处理(NLP)——法国工程师IMT联盟 期末考试题

1. 问题1 &#xff08;法语&#xff09;En langue arabe lcrasante majorit des mots sont forms par des combinaisons de racines et de schmes. Dans ce mcanisme... &#xff08;英语&#xff09;In Arabic language the vast majority&#xff08;十之八九&#xff09; of…

《昇思25天学习打卡营第23天|onereal》

第23天学习内容简介&#xff1a; ----------------------------------------------------------------------------- 本案例基于MindNLP和ChatGLM-6B实现一个聊天应用。 1 环境配置 配置网络线路 2 代码开发 下载权重大约需要10分钟 ------------------------------- 运…

UI设计工具选择指南:Sketch、XD、Figma、即时设计

在数字产品设计产业链中&#xff0c;UI设计师往往起着连接前后的作用。产品经理从一个“需求”开始&#xff0c;制定一个抽象的产品概念原型。UI设计师通过视觉呈现将抽象概念具体化&#xff0c;完成线框图交互逻辑视觉用户体验&#xff0c;最终输出高保真原型&#xff0c;并将…

基于Java的在线考试系统

你好呀&#xff0c;我是计算机学姐码农小野&#xff01;如果有相关需求&#xff0c;可以私信联系我。 开发语言&#xff1a;Java 数据库&#xff1a;MySQL 技术&#xff1a;Java MySQL B/S架构 SpringBoot框架 工具&#xff1a;Eclipse、MySQL环境配置工具 系统展示 首…