HetuEngine简介

目录

HetuEngine是什么?

HetuEngine的特点以及使用场景

特点

使用场景

HetuEngine介绍

结构


近期用到了Hetu,了解下这个工具是起什么作用的。

HetuEngine是什么?

是引擎,设计是为了让与当前的大数据生态完美融合的引擎,这里的大数据生态例如存储层的Hive、HBase、ClickHouse等。

它是一个一站式SQL分析引擎,相当于在Hive、GaussDB这种异源数据上面新增了一个上层页面,我们在上层页面写一个SQL,这个SQL中可以同时用到Hive的A表和GaussDB的B表,底层会自动到相应的数据库中执行、返值等,也就是能把跨源、跨域的数据,关联到一起做分析,而不用关注多类的数据去写多类的SQL,中间去搞各种临时表。

“河图引擎”在华为的描述中,可以逻辑数据湖大规模数据融合分析提效50倍,开发效率提高210倍,后者我们倒是好理解,在开发者侧,引擎它屏蔽了底层的数据存储设施的复杂度,能像使用普通例如MySQL数据库一样使用大数据,能复用各种之前的技能、工具;前者对于分析效率的提高,我们接下来看看为什么怎么高。

HetuEngine的特点以及使用场景

特点

  1. 完全的内存计算,自动实现计算下推,动态过滤等,实现PB级数据毫秒级响应。
  2. 优化的计算引擎,先进的分布式计算框架和优化算法,能更高效地分配计算资源,并行处理数据,从而大大提高计算速度。
  3. 智能的数据缓存与预取,预测和提前加载常用数据,减少数据读取的时间开销,加速分析过程,减少IO浪费。
  4. 拥有强大的查询优化器,能够自动分析查询语句,制定最优的执行计划,避免不必要的计算和数据访问。
  5. 有效地管理和调度系统资源,确保在大规模数据处理时资源得到充分利用,避免资源竞争和浪费。

使用场景

主要还是跨数据源融合分析,整合来自不同数据源(如关系型数据库、大数据系统、NoSQL 数据库等)的数据,进行统一的分析,而不用把各种源的数据先统一抽取转换到一个统一的中间库中。

另外其实同理的就是,适用于跨域,即多个地域或者说数据中心的快速联合查询。

特别说下就是大批量、特别复杂逻辑的批处理场景其实不太适合用HetuEngine。

官网上也强调了“尤其适用于Hadoop集群(MRS)的Hive、Hudi数据的交互式快速查询场景”。

HetuEngine介绍

结构

数据层:即HetuEnging支持的数据源,其实也就是数据实际存储的位置。

引擎层:HetuEnging接收SQL、解析SQL、并行拉取数据层数据、分布式计算的地方。

服务层:门户、数据源连接以及管理等配置页面。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/779150.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

电机控制杂谈——增量式的预测电流控制的优势在哪?

1.前言 前几天看到这么个问题。“模型预测控制如何消除静态误差” 评论说用增量式的预测控制。 这个回答让我想起来我大四下看的这篇论文。现在都一百多被引用了。 但是苦于当时能力有限,没办法复现这个文章。 所以现在想重新验证一下。 2.静态误差和电机磁链有…

node的下载、安装、配置和使用(node.js下载安装和配置、npm命令汇总、cnpm的使用)

天行健,君子以自强不息;地势坤,君子以厚德载物。 每个人都有惰性,但不断学习是好好生活的根本,共勉! 文章均为学习整理笔记,分享记录为主,如有错误请指正,共同学习进步。 愿将腰下剑,直为斩楼兰。 ——《塞下曲》 文章目录 一、node.js的下载、安装和配置1. node.js下…

Shell编程类-网站检测

Shell编程类-网站检测 面试题参考答法 a(1 2 3 4) echo ${a[0]} echo ${a[*]}这里声明一个数值,并选择逐个调用输出还是全部输出 curl -w %{http_code} urL/IPADDR常用-w选项去判断网站的状态,因为不加选择访问到的网站可能出现乱码无法判断是否网站down…

从零开始读RocketMq源码(一)生产者启动

目录 前言 获取源码 总概论 生产者实例 源码 A-01:设置生产者组名称 A-02:生产者服务启动 B-01:初始化状态 B-02:该方法再次对生产者组名称进行校验 B-03:判断是否为默认生产者组名称 B-04: 该方法是为了实例化MQClientInstance对…

零基础STM32单片机编程入门(八)定时器PWM输入实战含源码视频

文章目录 一.概要二.PWM输入框架图三.CubeMX配置一个PWM输入例程1.硬件准备2.创建工程3.调试 四.CubeMX工程源代码下载五.讲解视频链接地址六.小结 一.概要 脉冲宽度调制(PWM),是英文“Pulse Width Modulation”的缩写,简称脉宽调制,是利用单…

转发服务器实验

首先先克隆一个虚拟机并完成ip地址的修改 nmcli connection modify ens160 ipv4.addresses 192.168.209.128/24 nmcli connection modify ens160 ipv4.method manual nmcli connection modify ens160 connection.autoconnect yes nmcli connection up ens160 nmcli connection…

计算机网络浅谈—什么是 OSI 模型?

开放系统通信(OSI)模型是一个代表网络通信工作方式的概念模型。 思维导图 什么是 OSI 模型? 开放系统互连 (OSI) 模型是由国际标准化组织创建的概念模型,支持各种通信系统使用标准协议进行通信。简单而言,OSI 为保证…

读书到底有什么意义?从笨小孩到名人的逆袭之路

点击上方△腾阳 关注 作者 l 腾阳 转载请联系授权 读书到底有什么意义? 有一个鸟语花香的农场里,住着老农夫和他的小孙子。 老农夫经常在清晨会坐在窗边,捧着厚厚的《圣经》,沉浸在知识的海洋里。 小孙子问他:…

【Linux】文件系统6——理解文件操作

目录 1.文件的读取 1.1.目录 1.2.文件 1.3.目录树读取 1.4.文件系统大小与磁盘读取性能 2.增添文件 2.1.数据的不一致(Inconsistent)状态 2.2.日志式文件系统(Journaling filesystem) 3.Linux文件系统的运行 4、文件的删…

Selenium的自动化测试技巧有多少?【建议收藏】

Selenium是一个用于自动化Web应用程序测试的工具。它提供了一组API,允许用户与Web浏览器进行交互,来执行各种自动化测试任务。本文将从零开始,详细介绍Selenium的自动化测试技巧。 第一步:安装Selenium 首先,您需要安…

【鸿蒙学习笔记】Stage模型工程目录

官方文档:应用配置文件概述(Stage模型) 目录标题 FA模型和Stage模型工程级目录模块级目录app.json5module.json5程序执行流程程序基本结构开发调试与发布流程 FA模型和Stage模型 工程级目录 模块级目录 app.json5 官方文档:app.j…

WAIC:生成式 AI 时代的到来,高通创新未来!

目录 01 在终端侧算力上,动作最快的就是高通 02 模型优化,完成最后一块拼图 在WAIC上,高通展示的生成式AI创新让我们看到了未来的曙光。 生成式 AI 的爆发带来了意想不到的产业格局变化,其速度之快令人惊叹。 仅在一个月前&…

android之蓝牙遥控器新增键值

文章目录 简述连接蓝牙代码流程总结简述 使用android 10平台来适配蓝牙遥控器新增的键值 连接蓝牙 当使用遥控器与蓝牙进行配对成功后,就可以通过getevent获取蓝牙打印的信息,如下所示 其中000700a0是发送过来的协议(0007)和码值(00a0)的组合。0xfa是驱动定义好的值,如果…

AI智能歌曲创作源码系统 前后端分离 带完整的安装代码包以及搭建教程

系统概述 本AI智能歌曲创作源码系统集成了深度学习、自然语言处理和音乐理论,旨在通过用户输入的关键词、情感色彩或音乐片段,自动生成具有创意且风格多样的音乐作品。系统核心由两大部分构成:前端用户界面与后端音乐生成引擎。前端负责接收…

什么是 VueQuill(前端的富文本编辑器)?

什么是 VueQuill? 1. 简介 VueQuill 是 Vue.js 的一个富文本编辑器插件,它基于 Quill 编辑器构建,提供了简洁且功能强大的富文本编辑功能。Quill 是一个现代化的富文本编辑器,提供丰富的文本编辑能力,支持多种格式和…

【学习笔记】程序设计竞赛

程序设计竞赛 文章目录 程序设计竞赛0x00 基本操作指南0x01 算法分析0x02 STL和基本数据结构栈队列集合map 0x03 排序插入排序归并排序(Merge Sort)快速排序 0x04 搜索技术BFSDFS回溯与剪枝 深度迭代ID A*A star双向广搜 0x05 递推方程0x06 高级数据结构并查集二叉树…

【强化学习的数学原理】课程笔记--3(蒙特卡洛方法)

目录 蒙特卡洛方法MC Basic算法sparse reward MC Greedy 算法样本使用效率MC ϵ \epsilon ϵ-Greedy 算法一些例子 蒙特卡洛方法 第二节 推导贝尔曼最优公式中的: q π k ( s , a ) ∑ r P ( r ∣ s , a ) r γ ∑ s ′ P ( s ′ ∣ s , a ) v π k ( s ′ ) q…

CMS Made Simple v2.2.15 远程命令执行漏洞(CVE-2022-23906)

前言 CVE-2022-23906 是一个远程命令执行(RCE)漏洞,存在于 CMS Made Simple v2.2.15 中。该漏洞通过上传头像功能进行利用,攻击者可以上传一个经过特殊构造的图片文件来触发漏洞。 漏洞详情 CMS Made Simple v2.2.15 中的头像上…

NAS 必备导航页 Homepage 外观简约但功能丰富

本文首发于只抄博客,欢迎点击原文链接了解更多内容。 前言 NAS 上的应用部署多了之后,不同的服务对应的端口很难记住,在内网中使用,一般也不会绑定域名。 此时就需要有一个导航页将 NAS 上部署的所有服务都罗列出来,方便我们直接点击访问对应的服务。 今天给大家介绍的…

电商利器——淘宝商品月销量API接口解析

在电商时代,数据就是金钱。对于淘宝商家而言,掌握商品的销量数据无异于掌握了市场的脉搏。如今,淘宝商品月销量API接口的出现,联讯数据让商家如虎添翼,能够更加精准地把握市场动态,优化商品策略。 淘宝商…