数据管理优化,支持从 API 和对象存储更新数据集|ModelWhale 版本更新

一年一端午,一岁一安康。端午佳节临近, ModelWhale 也带来了新一轮的版本更新,期待为大家带来更优质的使用体验。

本次更新中,ModelWhale 主要进行了以下功能迭代:

  • 新增 从对象存储更新数据集(专业版✓ 团队版✓ )
  • 新增 从 API 更新数据集(专业版✓ 团队版✓ )
  • 新增 上传文件夹以创建数据集(专业版✓ 团队版✓ )
  • 新增 支持搜索数据集内的数据文件(专业版✓ 团队版✓ )
  • 新增 上传文件夹到 IDE 代码编辑器(专业版✓ 团队版✓ )
  • 新增 用户级、项目级的环境变量管理(专业版✓ 团队版✓ )
  • 新增 站外 API 使用离线任务(专业版✓ 团队版✓ )
  • 新增 回看组织公告(团队版✓)

01 新增 从对象存储更新数据集(专业版✓团队版✓ )

ModelWhale 支持接入客户自有的“对象存储”到平台中进行数据调用,同时支持对“对象存储”内的数据进行预览查看、制作数据集(或定时数据集)、追溯数据使用情况,以及安全的数据共享。

当“对象存储”的数据有更新时,你也可以从“对象存储”中选择文件以更新已有数据集,实现统一的数据管理、研究流程的持续进行。示例:此前你从“对象存储”选取了 3 个文件作为“实验数据”分析;新的实验数据更新进对象存储后,你可以勾选新数据、然后保存到“实验数据”数据集。

02 新增 从 API 更新数据集(专业版✓团队版✓ )

如果你的数据存储在“第三方系统”并已有一套严格的数据使用权限设计,ModelWhale 也支持继承已有权限管控:原有权限不会失效,亦无需在分析平台再次配置权限。填写 API 相关信息后,即可在平台实现对这些数据产品的调用分析(平台也支持从 API 创建数据集)。

当“第三方系统”的数据有更新时,你也可以从“第三方系统”中选择文件以更新已有数据集,实现统一的数据管理、研究流程的持续进行。示例:此前你从“第三方系统”选取了 3 个文件作为“实验数据”分析;新的实验数据更新进对象存储后,你可以勾选新数据、然后保存到“实验数据”数据集。

03 新增 上传文件夹以创建数据集(专业版✓ 团队版✓ )

本地保存管理的数据,往往存在层级结构,比如:城市中心站/2024年/1月气温.csv。将数据迁移到平台(创建平台数据集)时,现已支持上传一整个文件夹(保留文件结构),以便你无缝衔接工作流。

在平台完成数据处理后,你也可以在运行时(Notebook、IDE、Canvas)内将结果导出为数据集,这时:同样支持勾选文件夹(保留文件结构)导出。

(1)工作台

(2)运行时内

04 新增 支持搜索数据集内的数据文件( 专业版✓团队版✓ )

文件夹和数据文件的名称通常有一定规范和含义(i.e 城市中心站 20240604),溯源时我们习惯通过“名称”搜索找到某一个具体的数据文件。现 ModelWhale 已增强其搜索能力:支持在工作台、运行时(Notebook、Canvas)搜索数据集内的数据文件。即使文件可能位于多层文件夹下、数据量较大,依然可以被快速搜索找到。

(1)运行时内

(2)工作台 - 空间

05 新增 上传文件夹到 IDE 代码编辑器( 专业版✓ 团队版✓)

对于文件级的数据输入输出、其他脚本处理流程,建议使用 ModelWhale IDE 代码编辑器。除了支持与 Git 关联管理外,本地文件上传时,现已支持在 project 目录下上传文件夹以进行多个文件的批量上传

06 新增 用户级、项目级的环境变量管理( 专业版✓ 团队版✓ )

ModelWhale 支持通过“环境变量”管理敏感信息(比如数据库密码、模型 API Key、个人账号 Token 等)避免泄密:

  • 用户级的环境变量:建议存放个人 Token 、模型 API Key 等敏感信息(可在“个人设置”中设置);
  • 项目级的环境变量:可以配置 git 信息、Kernel 变量、用户名等(在“运行设置”中设置);

注:环境变量支持通过“大写字母+下划线+数字”组合;如有冲突,“项目级”环境变量将覆盖“用户级”。

(1)用户级的环境变量

(2)项目级的环境变量

07 新增 站外 API 使用离线任务( 专业版✓ 团队版✓ )

如果你的数据处理、模型训练需要持续运行较长时间,可以使用 ModelWhale “离线任务” 功能云端托管运行:我们会为你跑完整个项目、记录运行版本,你也可以实时查看运行结果、资源使用情况、系统日志。

现已支持在站外通过 API 使用该功能(i.e 你可以在本地电脑中将代码托管至 ModelWhale 离线任务运行),使用时请在网站完成信息填写,然后即可一键【复制配置项】写入你的代码项目中。具体 API 使用指南,可参考用户手册。

(1)追踪离线任务

(2)配置离线任务

08 新增 回看组织公告( 团队版✓ )

平台提供“组织公告”功能,供管理员向组织成员发布平台消息(i.e 某个数据库的连接方式说明),现已支持查看历史公告。

以上,就是本期 ModelWhale 版本更新的全部内容。

点击链接进入 Modelwhale 官网,免费试用 ModelWhale 专业版(个人研究)团队版(组织协同),获赠 CPU、GPU 算力!(建议使用 pc 端体验试用)

若对 ModelWhale 有任何建议、疑问,或有试用续期需求,欢迎联系产品顾问交流(咨询备注“产品咨询”)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/707762.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Android Room数据库使用介绍

1.简介 Room是Google提供的Android架构组件之一,旨在简化数据库操作。它是SQLite的一个抽象层,提供了更易用和安全的API。 Room的总体架构: 2.Room数据库的基础概念 Entity Entity是Room中的数据表,每个Entity类对应一个SQLite表。 DAO …

神经网络字符分类

按照题目要求修改了多层感知机 题目将图片的每个点作为输入,其中大小为28*28,中间有两个大小为100的隐藏层,激活函数是relu,然后输出大小是10,激活函数是softmax 优化器是Adam,结合了AdaGrad和RMSProp算法…

【elementui源码解析】如何实现自动渲染md文档-第三篇

目录 1.前言 2.webpack.demo.js 3.markdown文档 4.fence.js 1)tokens 2)::: 3) 5.containers.js 1)markdown-it-container 2)md.use() 3)代码逻辑 4)containers小结 6.congfig.js …

Stable Diffusion【光影文字】:绚丽光影,文字与城市夜景的光影之约

今天我们我们结合城市夜景背景来看一下光影文字的效果,我们先来看一下效果图。 一. 字融城市夜景制作光影文字方法 【第一步】:制作底图这里制作底图使用黑底白字。我们使用美图秀秀制作一个"小梁子"字的底图。 字体:默认字体 图…

怕怕怕怕怕怕怕怕怕怕

欢迎关注博主 Mindtechnist 或加入【Linux C/C/Python社区】一起学习和分享Linux、C、C、Python、Matlab,机器人运动控制、多机器人协作,智能优化算法,滤波估计、多传感器信息融合,机器学习,人工智能等相关领域的知识和…

期望14K,某小公司java社招面试经历

面经哥只做互联网社招面试经历分享,关注我,每日推送精选面经,面试前,先找面经哥 面试的是一家几百人的公司,基本面试的考察有八股文,也有按照项目问你的,总的来说比较全面吧 1、java代理模式 …

郑州企业资信评价资质:工程咨询单位专业资信申报材料清单

在郑州企业申请工程咨询单位专业资信评价资质时,需要准备一系列详细的申报材料。以下是根据参考文章中的相关数字和信息,清晰、分点表示和归纳的工程咨询单位专业资信申报材料清单: 一、基础材料 企业法人营业执照:提供企业法人营…

统计nginx访问日志前十名

可用下面五种方式来查看: 1. grep -oP ‘^\S’ access.log |sort -rn |uniq -c |sort -rn |head 命令详细讲解: grep: 是一个文本搜索工具,允许你在文件中搜索特定的模式。 -o: 只输出匹配的部分,而不是整行。 -P: 使用Perl兼容的…

Introducing Index-1.9B

简介 大家好,今天我们很高兴首次发布Index系列模型中的轻量版本:Index-1.9B系列 本次开源的Index-1.9B 系列包含以下模型: Index-1.9B base : 基座模型,具有 19亿 非词嵌入参数量,在2.8T 中英文为主的语料上预训练&…

【JavaEE精炼宝库】多线程(5)单例模式 | 指令重排序 | 阻塞队列

目录 一、单例模式: 1.1 饿汉模式: 1.2 懒汉模式: 1.2.1 线程安全的懒汉模式: 1.2.2 线程安全的懒汉模式的优化: 二、指令重排序 三、阻塞队列 3.1 阻塞队列的概念: 3.2 生产者消费者模型&#xf…

公司面试题总结(五)

25.谈一谈箭头函数与普通函数的区别,箭头函数主要解决什么问题? 箭头函数与普通函数的区别: ⚫ 语法简洁性: ◼ 箭头函数使用>符号定义,省略了 function 关键字,使得语法更为紧凑。 ◼ 对于单行函…

剖析框架代码结构的系统方法(下)

当面对Dubbo、Spring Cloud、Mybatis等开源框架时,我们可以采用一定的系统性的方法来快速把握它们的代码结构。这些系统方法包括对架构演进过程、核心执行流程、基础架构组成和可扩展性设计等维度的讨论。 在上一讲中,我们已经讨论了架构演进过程和核心执行流程这两个系统方法…

【npm】console工具(含胶囊,表格,gif图片)

这是一款控制台花样输出工具 相对丰富的输出方式 文本输出属性值输出胶囊样式输出表格输出图片输出(含动图) 安装 npm install v_aot引用 import v_aot from "v_aot";字段说明 字段类型属性字符串值字符串类型default 、 primary 、 suc…

深入解析MySQL的层次化设计

一、基础架构 1.连接器 1.会先连接到这个数据库上,这时候接待你的就是连接器。连接器负责跟客户端建立连接、获取权限、维持和管理连接 2.用户密码连接成功之后,会从权限表中拿出你的权限,后续操作权限都依赖于此时拿出的权限,这就意味着当链…

Github 2024-06-14 开源项目日报Top10

根据Github Trendings的统计,今日(2024-06-14统计)共有10个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量JavaScript项目2Python项目2非开发语言项目2TypeScript项目1Dart项目1Rust项目1Lua项目1Java项目1Jupyter Notebook项目1从零开始构建你喜爱的技…

代码随想录算法训练营第二十三天|669. 修剪二叉搜索树、 108.将有序数组转换为二叉搜索树、 538.把二叉搜索树转换为累加树

669. 修剪二叉搜索树 题目链接:669. 修剪二叉搜索树 文档讲解:代码随想录 状态:还可以 思路: 如果节点的值在[low, high]之间,则递归修剪它的左子树和右子树。 节点值小于low:如果节点的值小于low&#xff…

【机器学习】简答

1.什么是机器学习? 机器学习致力于研究如何通过计算的手段,利用经验来改善系统自身的性能。“训练”与“预测”是机器学习的两个过程,“模型”则是过程的中间输出结果,“训练”产生“模型”,“模型”指导 “预测”。计…

数字经济红利惠及全民,从掏钱消费到赚钱消费的转变,你准备好了吗?

伴随科技飞速发展,我们迎来了一个全新的经济时代——数字经济。数字经济以其独特的魅力,正为我们每个人带来前所未有的红利。 那么,面对数字经济的红利,我们是否已经做好了准备?我们又该如何把握这个时代赋予我们的机…

内存卡提示需要格式化?别急,这样拯救你的数据

一、内存卡突然提示需要格式化 在日常生活中,我们经常会使用到内存卡来存储照片、视频、文档等重要数据。然而,有时当我们试图访问内存卡时,却会遭遇一个令人头疼的问题——系统突然提示“内存卡需要格式化”。这意味着我们无法直接读取或写…

不愧是字节,图像算法面试真细致

这本面试宝典是一份专为大四、研三春招和研二暑假实习生准备的珍贵资料。 涵盖了图像算法领域的核心知识和常见面试题,包括卷积神经网络、实例分割算法、目标检测、图像处理等多个方面。不论你是初学者还是有经验的老手,都能从中找到实用的内容。 通过…