鹏城实验室PCLmed团队荣获ImageCLEFmedical 2024冠军,实现医疗图像解读新突破

在近期举行的ImageCLEFmedical 2024全球医疗图像分析和文本生成竞赛中,鹏城实验室专注于医学模型研究的PCLmed团队凭借卓越的技术实力和创新的解决方案,从来自世界各地的61支参赛队伍中脱颖而出,斩获冠军殊荣。这一成就不仅彰显了团队在医疗图像解读领域的深厚造诣,也为推动医疗图像自动化解读技术的发展注入了新的动力。

ImageCLEFmedical作为医疗图像分析和文本生成领域的年度赛事,旨在解决临床诊断中医疗图像解读和总结的瓶颈问题。本届竞赛聚焦于两个核心子任务:概念检测任务和图像描述任务。其中,概念检测任务旨在识别和定位医疗图像中的相关概念,这些概念构成了场景理解的基础。而图像描述任务旨在基于检测到的概念和图像中的视觉信息,为整个图像生成连贯的描述。

PCLmed:引领医疗图像解读新突破

PCLmed团队是由鹏城实验室联合北京大学、中山大学、深圳先进技术研究院等高校组建的以医学多模态大模型研究为主的团队,参加此次竞赛的成员包括鹏城实验室助理研究员张彤博士、北京大学深圳研究生院邹月娴教授、以及北京大学和鹏城实验室联培博士生杨邦等。该团队在竞赛中专注于图像描述任务,他们成功提出了一种全新的医疗视觉-语言基础模型,该模型不仅具备强大的图像理解能力,能够准确识别和定位医疗图像中的关键概念,还能够基于这些概念和图像中的视觉信息,为整个图像生成连贯、准确的描述。

这一研究成果在参赛中获得了多项指标第一的佳绩,有效缓解了现有方法在医疗图像表示学习和参数高效微调方面的局限性,也为医疗图像的自动化解读提供了强有力的支持。

PCLmed团队参赛结果获得了多项指标第一的佳绩

ImageCLEFmedical Caption | ImageCLEF / LifeCLEF - Multimedia Retrieval in CLEFicon-default.png?t=N7T8https://www.imageclef.org/2024/medical/caption

在技术创新方面,PCLmed团队提出的模型引入了视觉编码器集成(Vision Encoder Ensembling, VEE)和模态感知适应(Modality-Aware Adaptation, MAA)两项创新技术。其中,VEE结合通用和专业医疗视觉基础模型,旨在生成更加全面的医疗图像表示;MAA通过参数隔离手段在大语言模型中引入了两部分小规模可训练参数,用于分别适配视觉和文本特征,从而避免模态差异干扰联合表征的学习。

模型框架图

在模型实现方面,PCLmed以通用图像基础模型EVA-CLIP和医疗图像基础模型BioMedCLIP为编码器,使用BLIP-2提出的Query Transformer (Q-Former) 作为连接器,将鹏城·盘古α大语言模型(2.6B参数规模)作为解码器。

在学术研究方面,该研究成果形成的论文已投稿ImageCLEFmedical 2024,其中张彤博士为论文通信作者,杨邦为论文第一作者。该论文深入探讨了医疗多模态大模型在医学图像自动解读方面的应用,验证了所提VEE和MAA两项创新技术的有效性,为医学AI智能诊断的发展提供了有力的支持。

依托开源社区,推动医学AI技术创新

值得一提的是,PCLmed团队在竞赛中取得的优异成绩离不开OpenI启智社区的大力支持。社区为团队提供了代码协同、数据管理以及基于中国算力网的充沛算力进行模型调试-训练-推理等全方位的技术支持。依托OpenI启智社区,PCLmed团队得以将最新的技术和模型创新结合,打造出具有竞争力的解决方案。目前,该模型已在社区开源,相关代码将在后续开放。

此外,PCLmed团队在医学模型研究和开源贡献方面的工作也非常值得赞赏。他们不仅专注于研发创新的医学人工智能算法和模型,而且还致力于将这些成果开源,以便研究者和开发者能够共同学习和进步。目前,该团队已将异构计算框架下的多模态医学人工智能算法及模型等多项研究成果开源至OpenI启智社区,组织名称为“PCLmed-多模态医学AI算法库”,不仅体现了PCLmed团队的开放性和合作精神,也为整个医学AI领域的发展注入了新的活力,将大大促进医学图像分析、疾病诊断、治疗规划等领域的研究和应用。

PCLmed团队表示,获得ImageCLEFmedical 2024竞赛冠军是团队努力的结果,也是不断探索和创新的体现。未来,团队将继续致力于医学模型研究和开源贡献,推动医学AI技术的持续发展,为医疗领域带来更多创新和突破。

欢迎对医学类模型感兴趣的小伙伴们通过参与PCLmed团队的开源项目,深入了解医学AI的最新研究成果,学习先进的算法和模型设计思路,并与PCLmed团队共同探讨和解决医学领域的问题。

PCLmed团队在启智的开源组织页面

组织页面链接:

https://openi.pcl.ac.cn/OpenMedIA

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/703664.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

树结构的实现

树的概念 树是一种非线性的数据结构,它是由n个有限节点组成一个具有层次关系的集合,它看起来像棵树,所以称其为“树”。如下图: 树可以分为根和子树,而子树又可以被分为根和子树,故我们可以用递归对其进行实…

基恩士LT-X8000A的IP地址

在这里插入图片描述 192.168.0.256 192.168.0.1 LT-X8000A

Kotlin 协程真的轻量吗?

前言 在官方文档的介绍中,提到了: 协程是轻量的 并给出了一个例子: fun main() = runBlocking {repeat(50_000) {// 启动大量的协程launch {delay

Button按钮类

自学python如何成为大佬(目录):https://blog.csdn.net/weixin_67859959/article/details/139049996?spm1001.2014.3001.5501 按钮是GUI界面中应用最为广泛的控件,它常用于捕获用户生成的单击事件,其最明显的用途是触发绑定到一个处理函数。 wxPython类…

180.二叉树:二叉搜索树(力扣)

代码解决 /*** Definition for a binary tree node.* struct TreeNode {* int val;* TreeNode *left;* TreeNode *right;* TreeNode() : val(0), left(nullptr), right(nullptr) {}* TreeNode(int x) : val(x), left(nullptr), right(nullptr) {}* Tre…

MFC上下文菜单与定时器学习笔记

本博文简单介绍了上下文菜单以及定时器的知识内容,作为笔记发表在csdn上面。 在这里插入图片描述 菜单资源的使用 添加菜单资源加载菜单资源: 注册窗口类时设置菜单创建窗口传参设置菜单在主窗口WM_CREATE消息中利用SetMenu函数设置 加载菜单资…

Python学习笔记6:pychram相关知识及安装教程,后续需要学习的入门知识

上篇文章说了,今天去公司重新装一下IDE,最后也是把过程这边再记录一下,有需要的可以参考一下。 关于pychram pychram是什么? PyCharm是由JetBrains公司开发的一款流行的Python集成开发环境(IDE)。它专为…

RAM IP核配置

REVIEW 之前已经学习过: ROM:FPGA寄存器 Vivado IP核-CSDN博客 串口接收:Vivado 串口接收优化-CSDN博客 1. 今日摸鱼计划 RAM创建与测试 小梅哥视频: 21C_嵌入式块存储器RAM介绍_哔哩哔哩_bilibili 21D_嵌入式块存储器RAM实现和仿真_哔哩…

wordpress旅游网站模板

旅行社wordpress主题 简洁实用的旅行社wordpress主题,适用于旅行社建网站的wordpress主题模板。 https://www.jianzhanpress.com/?p4296 旅游WordPress主题 简洁实用的旅游WordPress主题,适合做旅游公司网站的WordPress主题模板。 https://www.jian…

网络故障排除:保持网络稳定与业务连续

目录 什么是网络故障? 网络故障排除的基本步骤 1. 问题识别 2. 确定故障范围 3. 检查物理连接 4. 检查设备配置 5. 测试与诊断 6. 实施解决方案 7. 验证与监控 了解更多 在现代企业中,网络的稳定性和性能直接影响业务的连续性和效率。作为一名…

上岸北科大计算机专业难度有多大?北京科技大学计算机考研考情分析!

北京科技大学计算机与通信工程学院源于1973年成立的计算机及应用专业,经过近40年的建设,学院在学科建设、科学研究水平和教育教学质量上实现了跨越式的发展与大力提升。学院目前设有计算机科学与技术系、软件工程系、通信工程系、物联网与电子工程系、信…

项目文件预览

在实际项目开发过程,项目使用数据存在多种形式,“文件”也是一种常见形式,因此,“文件预览”功能变成了常规需求。 kkFileView项目使用流行的spring boot搭建,易上手和部署。万能的文件预览开源项目,基本支…

知识图谱的应用---智慧外交

文章目录 智慧外交典型应用 智慧外交 智慧外交是指通过事件分析的手段,从历史、政治、经济、军事、文化等多个层面对各个国家的关系进行定量分析,提供智能化的外交关系研判和外交决策支撑。依托公开媒体、互联网及内部信息等海量资源数据,综合…

视频号小店常见问题全网最全的合集,赶紧收藏起来!

大家好,我是电商小V 新的电商项目视频号小店也是越来越火,想去操作的小伙伴也是越来越多,但是很多人对于这个项目本身不是很了解,咱们今天就来详细的说一下视频号小店,最关心的问题,一篇详解,建…

计算机组成原理(五)

一、链式查询方式 接口的优先级固定不变 在链式查询的情况下,设备的优先级通常与其在链中的位置有关。具体来说,越靠近查询链的起始位置的设备通常具有较高的优先级,而越靠近链的末尾位置的设备优先级较低。 优点: 简单实现&am…

12. ESP32-JSON(Arduino)

使用ESP32和Arduino框架处理JSON数据 在物联网(IoT)开发中,ESP32是一款功能强大的微控制器,它结合了Wi-Fi和蓝牙功能,适用于各种智能设备和传感器项目。JSON(JavaScript Object Notation)是一种…

StaticText文本类

自学python如何成为大佬(目录):https://blog.csdn.net/weixin_67859959/article/details/139049996?spm1001.2014.3001.5501 创建完窗口以后,我们可以在窗口内添加一些控件,所谓的控件,就是经常使用的按钮、文本、输入框、单选框等。 于所…

AIOps实现的简单途径

AIOps需要大模型的支持,但是训练一个业务专用的大模型并不是一件理想的任务,所以利用开源的通用大模型才是王道。 我们可以利用AI大模型的理解能力来帮助分析和解释Kubernetes(K8s)的日志。通过提供日志中可能存在问题的部分&…

白酒:茅台镇白酒的消费趋势与未来发展

茅台镇,中国白酒的璀璨明珠,以出产品质的白酒而享誉全球。在这片神奇的土地上,云仓酒庄豪迈白酒以其别具一格的酿造工艺和风格特点,成为了市场的宠儿。随着消费市场的不断变化,云仓酒庄豪迈白酒的消费趋势也在悄然发生…

代码随想录算法训练营第四十三天 | 01背包问题理论基础、01背包问题滚动数组、416. 分割等和子集

背包问题其实有很多种,01背包是最基础也是最经典的,软工计科学生一定要掌握的。 01背包问题 代码随想录 视频讲解:带你学透0-1背包问题!| 关于背包问题,你不清楚的地方,这里都讲了!| 动态规划经…