偶数科技发布实时湖仓数据平台 Skylab 5.0

2023 年 4 月 11 日, 偶数发布了最新的实时湖仓数据平台 Skylab 5.0,平台各个组件进行了全面升级。新版 Skylab 的发布标志着偶数科技具有从数据存储、计算、管理到分析、应用和 AI 能力的完整的数据管理生态闭环,帮助用户实现批流一体、实时数据处理、自动化机器学习、自助可视化分析和数据资产管理。依托 Skylab,用户可以轻松实现智慧营销、智能风控、智慧审计、智慧监管等数据应用场景。

Skylab 核心组件包括云原生分布式数据库 OushuDB、自动化机器学习平台 LittleBoy、数据分析与应用平台 Kepler、数据资产管理平台 Orbit、数据开发与调度平台 Flow、数据工厂 Wasp 和系统管理软件 Lava。

OushuDB

OushuDB 是由偶数科技自主研发的云原生分布式数据库,具有高性能、高并发、高可用的技术优势。OushuDB 兼容国产软硬件平台,符合国家信创标准。新一代执行器显著提升批处理和按需即席查询效率,面向 PB 级大数据的复杂查询,OushuDB 相比传统 MPP 和 SQL-on-Hadoop 快一个数量级。采用计算存储分离架构深度优化数据库的扩展能力,支持腾讯云、阿里云、华为云、金山云、微软 Azure、AWS 等主流云平台,充分满足云端应用高度弹性、无限扩容的要求。OushuDB 的 5.1 版本通过对接 Hive 元数据,可以原生使用 Hive 存储在 HDFS 的数据。同时,偶数分布式表存储 Magma 的稳定性和性能也进一步增强。另外,新版本增加了对 Copy to/from HDFS 协议 URL 的完整支持,以及对 Text/Csv 格式、GZ 压缩类型的支持。

LittleBoy

LittleBoy 自动化机器学习平台提供完整的 MLOps 链路,集成数据清洗、特征工程、深度学习、AutoML、模型管理和 AI 服务。其可视化交互可通过拖拽、对话引导等方式帮助用户清晰直观建模。LittleBoy 同时支持有监督学习和无监督学习,近百种内置算法满足不同场景建模需求。结合 OushuDB 高性能读写速度,LittleBoy 相比同类产品大幅提升模型收敛效率,帮助分析师和数据科学家将机器学习快速转化为业务价值。

Kepler

Kepler 是一款功能强大且简单易用的数据分析与应用平台,满足不同行业的数据开发、分析、应用等复合需求。通过横向打通指标、标签、报表、模型四种数据资产,实现不同类型数据的资产共享。作为 Skylab 的数据访问和应用的通道,Kepler 将海量数据分析与应用的性能发挥到极致。

Orbit

Orbit 数据资产管理平台为用户提供可视化的数据资产图谱、自动化的数据资产分类、多维度的数据血缘分析,以及可持续的数据标准贯彻实施。通过对存量和新增的数据资产进行全方位的规划管理,为企业搭建领先的数据运营体系,减少数据污染和治理成本,提高数据可见性和使用效率,助力数字经济下的数据确权和定价,加快数据要素流通。

Flow

Flow 是一款拥有强大 Web 界面交互能力的数据开发与调度平台,为 Skylab 平台提供任务调度能力。Flow 不仅支持丰富的任务类型,还拥有百万级任务节点的前端交互能力,灵活实现大规模集群任务的调度服务。支持作业重跑、单点跑以及下游跑等多种运行模式,既可以查看实时运行日志也可以追溯历史任务。通过任务、任务组、作业、作业空间等资源组织,可实现多级别并发和优先级配置。

Wasp

Wasp 数据工厂可以轻松对接多种数据源,灵活可扩展。支持存量和增量同步、离线和实时持续同步、自动和定时同步、数据容错和断点续传。用户可以通过零代码可视化操作进行一套任务的批流数据加工,Wasp 在保证数据一致性的同时,为用户提供高性能、高吞吐的数据加工和同步。

Lava

Lava 负责 Skylab 平台集群管理、监控运维、用户管理、认证、审计、权限、消息等基础服务。通过灵活可扩展的技术架构、云中立的技术路线,为用户提供简单易用、安全可靠、性能稳定的系统管理服务。降低运维成本,提高管理效率。

除了完整的生态组件,偶数 Skylab 平台还率先实现了湖仓一体 ANCHOR 标准六大特性,通过虚拟计算集群技术,真正在数据和查询层面形成一体化架构。在超大规模集群上支持高并发,保障事务支持,提供实时能力,实现一个技术平台、一份业务数据、一份元数据。通过偶数首创的 Omega 架构保障了 ANCHOR 的实时优势特性,形成了具备全实时能力的实时湖仓数据平台。

● All Disparate Data 多源异构数据

● Native on Cloud 云原生

● Consistency 数据一致性

● High Concurrency 超高并发

● One Copy of Data 一份数据

● Real-time 实时 T+0

随着全行业数字化转型进入深水区,企业也必然要面临诸多技术挑战,针对企业 IT 系统尤其是数据平台技术栈越来越复杂,运维操作越来越繁琐,数据应用链路越来越冗长等问题,偶数通过 Skylab 一个平台将这些复杂、繁琐和冗长的 IT 难题化繁为简,通过实时湖仓一体架构实现完整的数据管理生态闭环。用更先进的技术和更少的成本,为企业带来全实时的洞察力、更智能的决策、更快的应用集成,助力企业数字化转型。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/12560.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

LeetCode LCP 04. 覆盖【二分图最大匹配,匈牙利算法】困难

本文属于「征服LeetCode」系列文章之一,这一系列正式开始于2021/08/12。由于LeetCode上部分题目有锁,本系列将至少持续到刷完所有无锁题之日为止;由于LeetCode还在不断地创建新题,本系列的终止日期可能是永远。在这一系列刷题文章…

[Java]Session机制

什么是Session Session是另一种记录客户状态的机制,不同的是Cookie保存在客户端浏览器中,而Session保存在服务器上。客户端浏览器访问服务器的时候,服务器把客户端信息以某种形式记录在服务器上。这就是Session。客户端浏览器再次访问时只需…

springboot整合redis

一、总体概述 1、redis配置文件 redis.conf配置文件,改完后确保生效,记得重启,记得重启 默认daemonize no 改为 daemonize yes 默认protected-mode yes 改为 protected-mode no 默认bind 127.0.0.1 改为 直接注释掉(默认bind 127.0.0.1只能…

ApplicationContextAware接口

一、ApplicationContextAware接口的基本介绍 public interface ApplicationContextAware extends Aware {void setApplicationContext(ApplicationContext applicationContext) throws BeansException;}在Spring/SpringMVC中,我们拿到IOC容器无非有三种方式&#x…

HCIE-Cloud Computing LAB常见问题收集谱

第一题:FusionCompute 扩容CNA与对接共享存储 FusionCompute:关联存储资源失败 物理阵列里面太多没清理的了。然后去排查问题,存储地址也正确,管理接口也互联,IQN号也修改了,结果是启动器快满了 排查网…

Javaweb基础配置模板(mybatis+javaweb)

1.大纲规划图 本配置涉及的技术:mybatis,javaweb,json转换&#xff0c;分页查询等 2.导入相关的配置文件pom.xml 2.1 依赖文件 <dependencies> <!-- 测试依赖--><dependency><groupId>junit</groupId><artifactId>junit</artifact…

如何把视频里的声音提取出来,4种有效方法学起来

在我们日常生活中&#xff0c;可能会有需要从视频文件中提取音频的情况&#xff0c;比如想要将视频中的歌曲或语音内容提取出来&#xff0c;或者电脑上看视频时&#xff0c;总有一些很有意思的BGM&#xff0c;想录下来或者提取出来单独使用&#xff0c;不过有些小伙伴可能不知道…

[abc复盘] abc297 20230409

[atc复盘] abc297 20230409 一、本周周赛总结A - Double Click1. 题目描述2. 思路分析3. 代码实现 B - chess9601. 题目描述2. 思路分析3. 代码实现 C - PC on the Table1. 题目描述2. 思路分析3. 代码实现 D - Count Subtractions1. 题目描述2. 思路分析3. 代码实现 E - Kth …

AOP通知中获取数据

AOP通知中获取数据 之前我们写AOP仅仅是在原始方法前后追加一些操作&#xff0c;接下来我们要说说AOP中数据相关的内容&#xff0c;我们将从获取参数、获取返回值和获取异常三个方面来研究切入点的相关信息。 获取切入点方法的参数&#xff1a;所有的通知类型都可以获取参数 …

【JSP学习笔记】3.JSP 指令及动作元素

前言 本章介绍JSP的指令和动作元素。 JSP 指令 JSP指令用来设置整个JSP页面相关的属性&#xff0c;如网页的编码方式和脚本语言。 语法格式如下&#xff1a; <% directive attribute"value" %>指令可以有很多个属性&#xff0c;它们以键值对的形式存在&am…

数云融合|新手入门,5分钟秒懂开源

目录 一、开源软件开源领域的两大组织&#xff1a;FSF和OSI 二、开源许可证开源意味着免费吗&#xff1f; 三、开源技术应用领域四、总结 一、开源软件 开源即开放源代码&#xff0c;他的核心是源代码公开&#xff0c;任何人都可以查看、使用、修改和分发。与之相对的是闭源&a…

技术+商业“双轮”驱动,量旋科技加速推进全方位的量子计算解决方案

【中国&#xff0c;深圳】4月14日&#xff0c;在第三个“世界量子日”&#xff0c;以“‘双轮’驱动 加速未来”为主题的量旋科技2023战略发布会在线上举办。 本次发布会&#xff0c;量旋科技全线升级了三大业务线产品&#xff1a;其中重点布局的超导量子计算体系产品&#xf…

DolphinScheduler×T3出行 | 打造车联网一站式数据应用交互体验

点击蓝字 关注我们 用户案例 | T3 出行 业务挑战 作为一家车联网驱动的公司&#xff0c;T3出行汇聚了“人、车、路、云”各端的海量数据。为了承载如此多元化的数据以更好地释放数据价值&#xff0c;T3出行构建了以Apache Hudi为基础的企业级的数据湖&#xff0c;并在此之上搭建…

1 分钟给 Siri 升个级!从智Z变身 ChatSiri!

原文链接&#xff1a;https://forum.laf.run/d/79/17 众所周知&#xff0c;Siri 是一个智 Z&#xff01;那么如果能接入大火的 chatGPT&#xff0c;是不是就会从智 Z 变成人工智能&#xff1f;&#xff01; 众所周知&#xff0c;Laf 是一个集函数、数据库、存储为一体的云开发…

第五章_Redis事务

是什么 官网 能做什么 一个队列中&#xff0c;一次性、顺序性、排他性的执行一系列命令 Redis事务 VS 数据库事务 1 单独的隔离操作 Redis的事务仅仅是保证事务里的操作会被连续独占的执行&#xff0c;redis命令执行是单线程架构&#xff0c;在执行完事务内所有指令前是不可…

消息队列kafka及zookeeper机制

目录 一、zookeeper 1、zookeeper简介 2、zookeeper特点 3、zookeeper工作模式及机制 4、zookeeper应用场景及选举机制 5、zookeeper集群部署 ①实验环境 ②安装zookeeper 二、消息队列kafka 1、为什么要有消息队列 2、使用消息队列的好处 3、kafka简介 4、kafka…

【云原生】Kubernetes(k8s)之容器的探测

Kubernetes&#xff08;k8s&#xff09;之容器的探测 一、探测类型及使用场景1.1、startupProbe&#xff08;启动探测&#xff09;1.2、readinessProbe&#xff08;就绪探测&#xff09;1.3、livenessProbe&#xff08;存活探测&#xff09; 二、检查机制三、探测结果四、容器探…

MySQL - 基于SSL安全连接的主从复制

目录 &#x1f341;主从复制的原理 &#x1f341;部署master &#x1f341;部署slave &#x1f341;测试SSL主从复制 &#x1f990;博客主页&#xff1a;大虾好吃吗的博客 &#x1f990;MySQL专栏&#xff1a;MySQL专栏地址 生产环境中一台mysql主机存在单点故障&#xff0c;所…

SWCF QA集锦待查收 (车联网与V2X、自动驾驶、5G毫米波、射频测试、频谱监测与规划等)

感谢大家的观看与支持&#xff01;我们为大家整理了本次发布会中的演讲资料&#xff0c;汇总了直播过程中的热点问题并请讲师进行了详细解答&#xff0c;在此整理分享给大家&#xff01; 演讲Q&A Q&#xff1a;目前5G天线支持最大的MIMO是多少&#xff1f; A&#xff1a;…

计算机:理解操作系统:内存篇(上)

内存篇 1. 什么是内存2. C/C内存模型2.1 代码段和数据段2.2 堆和栈 本节是操作系统系列教程的第三篇文章&#xff0c;属于操作系统第一章即基础篇&#xff0c;在真正开始操作系统相关章节前在这一部分回顾一些重要的主题&#xff0c;算是温故知新吧&#xff0c;以下是目录&…