2023Q4 私有化版本发布,和鲸 ModelWhale 持续赋能大科研、高校教改的 AI for Science

作为数据科学多人协同平台,和鲸 ModelWhale 从一而终地为各级用户提供完备而周全的解决方案,覆盖数据研究、算法探索、模型调优、Python 案例教学等多个场景。特别地,如果对研究分析平台有更高的安全合规要求、希望兼容原有业务系统(比如已有的服务器资源、数据平台等)、或者有其他定制化需求我们建议采买 ModelWhale 私有化独立部署服务:支持定制化解决方案设计、独立产品功能开发、专属的客户成功系列服务等。

2023Q4 私有化部署版本,已顺利通过公测并将于近期部署到客户环境中。本季度主要进行了以下迭代:

  • 硬件分析环境:新增 算力节点池,支持算力独享、按需跨部门共享的调度策略
  • 软件分析环境:新增 使用 API 接入数据、常用分析软件及模板接入
  • 科研:AI4S 大科研探索分析能力拓展,包括:大模型开发训练、复杂任务编排、算法封装交付
  • 高校:Python 案例实训教学(OBE)能力拓展,新增 分组作业、老师-学生视角切换、优化结课存档
  • 更规范的资产管理:优化 元数据及 DOI 管理(FAIR 原则),新增 门户内容公开申请、优化 资产搜索查询
  • 更便捷的账号迁移(已有第三方用户系统打通、免登录)、更丰富的开放接口支持国际化多语言(中/英)切换

一、硬件分析环境管理:新增 算力节点池,支持算力独享、按需跨部门共享的调度策略

组织内顺畅的开放协同、合力研究,需要统一的分析平台进行资源及成果共享。而算力方面,在更开放的协作场景,部门间的算力“相互支援、按需调度”,可以实现更充分的算力利用、释放研发效能。平台现已支持将不同部门的机器构成不同的节点池(资源池);用户启用算力时,平台会依据优先级策略调度算力:独立(非共享)节点池 > 共享节点池。

而在不同节点池下,平台支持接入超算集群(HPC)、GPU 集群、普通 GPU 及 CPU,实现比本地更细颗粒的算力分配使用、监控管理、伸缩调度。

算力节点池监控

超算集群(HPC)使用

二、软件分析环境:新增 API 数据接入、常用分析软件及模板接入

1、新增 API 数据连接,继承原有第三方系统权限管控

平台支持多种数据源的接入和使用,包括:关键数据成果(数据集)、研究源数据(NAS 数据源、Vertica 及其他常用数据库、对象存储)、其他第三方存储数据(服务接口调用、API 数据连接)、大模型 Common Data(超算自有存储)。

如果数据存储在“第三方系统”并已有一套严格的数据使用权限设计,平台支持继承已有权限管控:原有权限不会失效,亦无需在分析平台再次配置权限。只需填写由该第三方系统提供的 API 配置,即可在平台实现对这些数据产品的调用分析

2、新增 常用分析软件、研究框架丝滑迁移

本地常用的分析软件、分析框架、团队内标准的 SOP 工作流,均已支持迁移到平台使用。

  • 新增 软件仓库:支持在平台 Notebook 在线调用本地常用的 Python 库、可执行程序及其他软件
  • 新增 预注入代码、脚本:支持在数据分析前预加载某些工具库、分析代码、文件,或者提前注入环境变量、shell 指令,快捷构建所需研究环境。
  • 优化 分析模板复用:团队内标准的 SOP 工作流(如分析框架模板、研究报告模板、数据处理模板),可以在团队内分发共享,避免重复造轮,提高生产效率

三、科研:AI4S 大科研探索分析能力拓展

1、“模型开发 - 训练 - 部署 - 运维”能力提升

大模型(如 LLM)的开发训练对算力、存储、分析工具、多人协作工具均提出了较高要求,平台拥有适用于模型“开发 - 训练 - 部署 - 运维”的全流程基础设施,可帮助工程师、科学家们更好地进行大模型开发训练、多人协同研究以及其他 AI for Science 分析探索

模型开发训练阶段,平台提供训练过程记录(Tracking)及可视化比对分析,同时兼容 MLFlow,全面协力模型参数的尝试与调整、最优结果记录及部署;服务调用环节,支持灵活的同步/异步请求以及精细的算力扩容管理;平台的模型运维监控系统,提供你详细的模型调用记录、算力使用追踪,以便调整运行策略(扩容/回收)、二次调优模型

平台也支持开源预训练模型的快捷部署(如 Github 上的 gradio 项目),供大家便捷体验模型使用效果。

2、“复杂任务的编排、运行”能力提升(新模块 ✓)

大小模型结合或多节点复杂任务,建议使用平台 Workflow 进行任务编排、并行计算。Workflow 任务节点支持 Notebook、Bash 脚本Python 脚本、R 脚本多种类型;同时支持使用超算集群、GPU集群、GPU、CPU 组合运算,以及配置定时运行策略、结果重试策略

3、“多人算法开发 - 成果封装复用”能力提升

平台 Canvas 拥有 “算法封装”+“算法快捷使用” 能力,组织内算法工程师可以【自研 Canvas 组件】封装代码,【分发 Canvas 分析模板】供组织成员直接使用、快速搭建研究框架、低代码完成数据分析工作。本季度我们对“Canvas 多人自研开发流程”进行了升级迭代:开发流程更规范、开发权限更清爽、组件使用更便捷。

四、高校:Python 案例实训教学(OBE)能力拓展

为促进高校教改,依据 OBE 成果导向的教育模式,平台帮助学生真实 Coding、快速理解数据科学方法、逐步形成数据科学思维。老师可以调用平台丰富的案例教材、教学工具,设计实践作业、分组作业、自动评审作业等,构建案例实训教学课程。教学平台本季度新增:

  • 分组作业:支持区分小组得分/个人得分、批量设置/管理小组、作业在线预览评审、作业导出留存。
  • “老师-学生”视角切换:老师可以随时检查课程展示是否符合预期,及时调整教学策略。
  • 测验题批量上传至课程题库:更方便“课题组”迁移教学内容和“老师”复用调整。
  • 也优化了结课存档相关设施,如:分作业权重配置及总成绩计算导出、课程归档、课程复用等。

分组作业

“老师-学生”视角切换

测验题批量上传(至课程题库)

结课存档

五、更规范的资产管理

为实现科学数据更规范的管理、展示、使用,平台已应用 FAIR 原则:通过“元数据体系”,保证数据资产的可发现(Findable)、可访问(Accessible)、可互操作(Interoperable)、可重用(Reusable)。我们也提供了规范的 DOI 和数据引用格式,以便数据使用者可以更便捷、更规范地标记数据来源。

此外,平台还提供“独立门户”,作为内容分享窗口,连接外部伙伴。为促进生态共建、内容共享的积极氛围,现已支持由组织成员自主申请公开其工作成果,比如再分析数据、研究代码报告、机器学习算法、大模型探索实践、模型服务应用等。

优化 元数据及 DOI 管理

新增 门户内容公开申请

优化 资产搜索查询

六、更便捷的账号迁移、更丰富的开放接口、支持多语言(中/英)切换

平台支持与客户已有的第三方用户系统打通:直接使用已有第三方账号(如 Authing, User-OneID, 其他 OA 账号)即可完成平台的注册、登录/免登录。我们也提供丰富的数据接口,可灵活对接其他平台系统;以及数据埋点相关设施,帮助进行业务分析、监控。

此外,为助力国际化业务发展,我们进行了语言版本的全面升级,新增 支持多语言(中/英)双语切换,让多语言人才的沟通协作更流畅。

以上,就是本季度 ModelWhale 私有化版本更新的全部内容。

进入 Modelwhale 官网,免费试用 Modelwhale 专业版(个人研究)或团队版(组织协同),获赠 CPU、GPU 算力!(建议使用 pc 端体验试用)

若对 ModelWhale 有任何建议、疑问,或有试用续期需求,欢迎点击【联系产品顾问】,MoMo 很高兴为你服务、与你交流(咨询备注“私有化产品咨询”)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/216584.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

安全测试工具Burpsuit和OWASP ZAP使用入门指南

Burpsuit使用入门指南 安装: 网上有很多相关相关保姆级别教程,所以这里不加赘述了 尽量使用java8版本,破解版兼容8做的比较好 如果发现注册机无法打开或者能打开注册机【run】无法点击唤起软件安装,可以使用命令行工具java -jar…

深入解析常见的软件架构模式

在软件开发领域,选择合适的架构模式对于项目的可维护性和扩展性至关重要。本文将深入探讨常见的软件架构模式,包括MVC、MVP、MVVM、MVVM-C以及VIPER。 1. MVC(Model-View-Controller) MVC 是一种经典的软件架构模式,将…

一天一个设计模式---生成器模式

概念 生成器模式(Builder Pattern)是一种创建型设计模式,用于构建复杂对象。它允许您逐步构造一个对象,将构建过程与最终对象的表示分离开来。这种模式通常用于创建复杂的对象,这些对象可能有多个部分组成&#xff0c…

探索人工智能领域——每日20个名词详解【day7】

目录 前言 正文 总结 🌈嗨!我是Filotimo__🌈。很高兴与大家相识,希望我的博客能对你有所帮助。 💡本文由Filotimo__✍️原创,首发于CSDN📚。 📣如需转载,请事先与我联系以…

智能优化算法应用:基于社会群体算法无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用:基于社会群体算法无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用:基于社会群体算法无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.社会群体算法4.实验参数设定5.算法结果6.参考…

Spring Security 自定义异常失效?源码分析与解决方案

🚀 作者主页: 有来技术 🔥 开源项目: youlai-mall 🍃 vue3-element-admin 🍃 youlai-boot 🌺 仓库主页: Gitee 💫 Github 💫 GitCode 💖 欢迎点赞…

用python删除指定目录下带某个字符串的图片

前言: 在文件处理中,有时我们需要批量删除指定文件夹中的特定类型文件。如果文件数量非常庞大,手动删除会非常麻烦,所有可以用 Python 编写一个简单而高效的脚本,自动执行重复性的任务,从而节省时间和精力&…

Intellij idea 快速定位到文件的开头或者结尾的几种方式

方式一:Scroll To Top / Scroll To Bottom 首先打开Keymap设置,并搜索Scroll To 依次点击File->Settings->Keymap可打开该界面 对于Scroll To Top 快速滑动定位到文件顶部, Scroll To Bottom快速定位到文件底部 默认是没有设置快捷键的…

Python应用利器:缓存妙用,让你的程序更出色更快速!

更多资料获取 📚 个人网站:ipengtao.com 在 Python 应用程序中,使用缓存能够显著提高性能并降低资源消耗。本文将详细介绍如何在 Python 中实现缓存机制,包括内置 functools 模块提供的 lru_cache 装饰器以及自定义缓存机制。 使…

FacetWP Hierarchy Select网站内容层次结构选择插件

点击阅读FacetWP Hierarchy Select网站内容层次结构选择插件原文 FacetWP Hierarchy Select网站内容层次结构选择插件可让您基于分层分类法创建引导下拉菜单。 FacetWP Hierarchy Select网站内容层次结构选择插件功能 通过引导式下拉菜单过滤结果,一次一个深度级…

用python写一个简单的爬虫

爬虫是一种自动化程序,用于从互联网上获取数据。它能够模拟人类浏览网页的行为,访问网页并提取所需的信息。爬虫在很多领域都有广泛的应用,例如数据采集、信息监控、搜索引擎索引等。 下面是一个使用Python编写的简单爬虫示例: …

2023/11/30JAVAweb学习(postman,各种参数,统一响应数据,三层架构,分层解耦,bean组件扫描,Bean注入及解决方式)

数组json形式 想切换实现类,只需要只在你需要的类上添加 Component 如果在同一层,可以更改扫描范围,但是不推荐这种方法 注入时存在多个同类型bean解决方式

SQL手工注入漏洞测试(PostgreSQL数据库)-墨者

———靶场专栏——— 声明:文章由作者weoptions学习或练习过程中的步骤及思路,非正式答案,仅供学习和参考。 靶场背景: 来源: 墨者学院 简介: 安全工程师"墨者"最近在练习SQL手工注入漏洞&#…

[SHCTF 2023]——week1-week3 Web方向详细Writeup

Week1 babyRCE 源码如下 <?php$rce $_GET[rce]; if (isset($rce)) {if (!preg_match("/cat|more|less|head|tac|tail|nl|od|vi|vim|sort|flag| |\;|[0-9]|\*|\|\%|\>|\<|\|\"/i", $rce)) {system($rce);}else {echo "hhhhhhacker!!!".&…

医院信息化专业人员必备医院业务运作及管理流程知识(详细)

业务流程是一家医院运作的基础,医院所有业务都需要流程加以驱动。熟知医院各项业务,了解医院管理流程,有利于医院工作人员更好地投入自身岗位,提高工作效率。本文整理了常见医院业务运作及管理流程,仅供参考! 【门诊业务】 一、门诊业务的特点: 1.接诊病人多,就诊时…

全网最新最全的自动化测试教程:python+pytest接口自动化-requests发送post请求

简介 在HTTP协议中&#xff0c;与get请求把请求参数直接放在url中不同&#xff0c;post请求的请求数据需通过消息主体(request body)中传递。 且协议中并没有规定post请求的请求数据必须使用什么样的编码方式&#xff0c;所以其请求数据可以有不同的编码方式&#xff0c;服务…

Linux下快速创建大文件的4种方法

1、使用 dd 命令创建大文件 dd 命令用于复制和转换文件&#xff0c;它最常见的用途是创建实时 Linux USB。dd 命令是实际写入硬盘&#xff0c;文件产生的速度取决于硬盘的读写速度&#xff0c;根据文件的大小&#xff0c;该命令将需要一些时间才能完成。 假设我们要创建一个名…

记录华为云服务器(Linux 可视化 宝塔面板)-- Nginx配置出现500错误记录

文章目录 1、路由配置&#xff0c;访问显示500如有启发&#xff0c;可点赞收藏哟~ 1、路由配置&#xff0c;访问显示500 错误如图显示500 解决思路如下 1、先查看错误日志 错误日志存放位置 提示 /login配置的文件有问题 开始配置如下图 修改前 修改后&#xff08;即在/l…

自动化集成有哪些典型应用场景?

为什么要做自动化场景集成&#xff1f; 主要分为以下几点&#xff1a; 提高效率/减少错误&#xff1a;减少人工操作、人为错误、人力成本&#xff0c;提高生产效率、生产质量和稳定性。 提高可靠性&#xff1a;提高系统的可靠性和稳定性&#xff0c;减少系统故障和停机时间。…

【以太网物理层】DM9161A

&#x1f6a9; WRITE IN FRONT &#x1f6a9; &#x1f50e; 介绍&#xff1a;"謓泽"正在路上朝着"攻城狮"方向"前进四" &#x1f50e;&#x1f3c5; 荣誉&#xff1a;2021|2022年度博客之星物联网与嵌入式开发TOP5|TOP4、2021|2222年获评百大…