针对 AI 优化数据湖仓一体:使用 MinIO 仔细了解 RisingWave

RisingWave 是现代数据湖仓一体处理层中的开源流数据库,专为性能和可扩展性而构建。RisingWave 旨在允许开发人员在流数据上运行 SQL。鉴于 SQL 是数据工程的通用语言,此功能非常重要。它具有强大的架构,包括计算节点、元节点和压缩器节点,所有这些都针对 AI 基础的高吞吐量和低延迟操作进行了优化:例如数据质量、数据探索和预处理。请记住,您的 AI 计划仅与您的数据一样好。

RisingWave 将自己定位为 Apache Flink 和 ksqlDB 的替代品,并能很好地与该领域的其他 Kubernetes 原生技术配合使用;特别是那些也是为速度和规模而构建的。这篇博客展示了使用 Docker Compose 的 RisingWave 和 MinIO 之间的实现。

先决条件

您需要在系统上安装 Docker Desktop。下载并安装适合您的操作系统的版本,然后通过打开终端并运行以下命令来检查是否正确安装了它:

docker-compose --version

您还需要一个 PostgreSQL 客户端。 psql 根据您的操作系统按照这些说明进行操作。

接下来,在终端窗口中克隆 RisingWave 存储库并导航到包含 docker-compose 文件的文件夹:

git clone https://github.com/risingwavelabs/risingwave.git
cd risingwave/docker

启动服务

使用以下命令启动 RisingWave 和 MinIO 服务:

docker-compose up -d

使用此 Docker Compose 文件执行 docker-compose up 时,Docker Compose 会协调多个互连服务的部署,包括 risingwave-standalone 、 etcd-0 、 、 minio-0 prometheus-0 和 grafana-0 message_queue 。它根据指定的设置(如图像源、环境变量、卷映射和端口绑定)配置每个服务。管理服务之间的依赖关系,以确保正确的启动顺序。网络设置允许内部通信,而运行状况检查则监视服务稳定性。应用资源限制和重启策略来保持性能和可靠性。从本质上讲,此命令设置了一个复杂的多服务应用程序环境,该环境针对定义的配置进行了定制。

访问 RisingWave、Grafana 和 MinIO

成功启动服务后,您可以在 http://127.0.0.1:5691 访问 RisingWave 仪表板,查看集群的状态并管理流源、接收器和查询。

访问 MinIO Web 界面,网址为 http://127.0.0.1:9400。使用默认凭据 ( username: hummockadmin , password: hummockadmin ) 登录。您将看到已创建一个名为 hummock001 的存储桶。

访问 Grafana http://127.0.0.1:3001/ 导航到左侧的“仪表板”菜单。找到 risingwave_dashboard .在此仪表板中,您可以访问多个内部指标,包括节点计数、内存使用情况、吞吐量和延迟。这些指标对于诊断和增强集群的性能很有价值。

执行 SQL

通过在终端窗口中运行以下命令连接到 psql RisingWave:

psql -h localhost -p 4566 -d dev -U root

您现在已准备好使用此集成。下面的示例查询将帮助你开始在 Rising Wave 上执行 SQL。运行以下命令以创建名为 purchase records :

CREATE TABLE purchase_records (
  purchase_id int,
  product_id int,
  customer_id int,
  amount_spent real,
  purchase_date date
);

运行以下命令,将数据插入到刚刚创建的表中:

INSERT INTO purchase_records (purchase_id, product_id, customer_id, amount_spent, purchase_date)
VALUES
  (1, 301, 3001, 120.5, '2023-05-10'),
  (2, 301, 3002, 150.0, '2023-05-10'),
  (3, 301, 3003, 80.0, '2023-05-10'),
  (4, 302, 3001, 220.2, '2023-06-15'),
  (5, 302, 3003, 110.0, '2023-06-15');
  

从该表创建具有一些聚合的实例化视图,以进一步浏览数据:

CREATE MATERIALIZED VIEW product_spending_summary AS
SELECT
    product_id,
    AVG(amount_spent) AS average_spent,
    COUNT(amount_spent) AS total_purchases
FROM
    purchase_records
GROUP BY
    product_id;

通过运行以下 SQL 查询从具体化视图中选择所有内容,请查看编译的数据:


SELECT * FROM product_spending_summary;

您可以在 http://127.0.0.1:9400 时再次使用 MinIO 进行检查,以查看您创建的 Materialized 视图和表中的对象是否已填充您的对象存储。

扩展本教程

将 RisingWave 与 MinIO 集成,为寻求构建和扩展实时分析应用程序的开发人员提供了强大的解决方案。这种组合提供了高效处理大量数据流所需的可靠性和可伸缩性。按照上述步骤,您可以设置一个利用 RisingWave 和 MinIO 优势的环境。与所有 Kubernetes 原生软件一样,如果您愿意,可以部署这种与 Kubernetes 的集成。无论您是运行复杂的查询还是管理庞大的数据集,这种服务组合都能确保您有能力应对现代数据处理的挑战,并确保您的组织为 AI 计划做好准备。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/729464.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

测绘行业解决方案

应用场景 - 地籍测量 业务挑战 • 人工地籍测量速度慢,效率低,工程周期长 • 外业工作量大,人力成本高 • 传统测绘成果限于数字线划图,无法直观展示地块实景效果 无人机优势 • 可实现 1:500 免像控测绘 • 高效作业&…

SpringBoot 实现RequestBodyAdvice封装统一接受类功能

一、相关往期文章 SpringBootVue实现AOP系统日志功能_aop的vue完整项目 Spring AOP (面向切面编程)原理与代理模式—实例演示_面向切面aop原理详解 二、需求分析 按照一般情况,统一接受类可以像以下的方式进行处理: 如果不想使用 Request…

360°环绕拍摄图片的作用 欧保图 ORBITVU

360环绕拍摄图片在电商中的应用及其优势 ORBITVU 波兰 欧保图 360环绕拍摄图片是一种动态的产品展示方式,它允许消费者从不同角度全方位地查看产品,这种交互式的体验大大增强了用户的购物体验。以下是360环绕拍摄图片在电商中的一些具体应用及其带来的优…

【Linux必备工具】自动化构建工具makefile的使用详解

目录 引言 Makefile 简介 依赖关系与依赖方法 make运行规则 依赖关系示例 依赖方法 Makefile 工作原理 示例代码 清理项目与伪目标 清理示例 .PHONY总是被执行 文章手稿: 文章手稿见文末~ 引言 项目构建时遇到的各种挑战如文件编译顺序、库链接、依赖…

“湖仓一体架构及其应用”写作框架,系统架构设计师

论文真题 随着5G、大数据、人工智能、物联网等技术的不断成熟,各行各业的业务场景日益复杂,企业数据呈现出大规模、多样性的特点,特别是非结构化数据呈现出爆发式增长趋势。在这一背景下,企业数据管理不再局限于传统的结构化OLTP…

高互动UI设计揭秘:动画效果如何提升用户体验

动画,由于其酷的视觉冲击,往往会产生极好的用户体验。UI设计中的动态效果可以使用户界面看起来更酷,特别是界面的功能动画,是UX设计的重要组成部分,不容忽视。为什么UI设计的动态效果如此重要?接下来&#…

WIFI6E中的MESH组网功能

什么是WIFI6E和MESH组网? WIFI 6E 是扩展到6GHz 频段的WIFI 6无线通信技术,而“WIFI 6E”中的“6”是指WIFI技术的“第6代”,“E”则是指使用新频段的标准的最新扩展。WIFI 6E通过增加6GHz频段,提供更高的带宽、更低的延迟和更大…

探索Lazada商品数据宝库——一键获取商品详细数据信息

一、引言 在电商领域,Lazada凭借其广泛的商品种类和便捷的购物体验,成为东南亚地区备受欢迎的电商平台。然而,对于许多商家和数据分析师来说,获取商品详细数据信息却是一项繁琐而重要的任务。为了解决这个问题,我们精…

深圳学区房断崖式跌价,3年跌去10万元,更可怕的还在后面

就在房市回暖之际,深圳的学区房却传来让人震惊的消息,深圳八卦岭有小区的房价三年时间从14万元每平方跌至4万元每平方,这对于当下的楼市无疑是重磅炸弹,对人们的购房行为将产生重要影响。 深圳这个受到关注的小区为一个宿舍小区&a…

图像分割(二)——低照度下自然场景下图像分割的一种新方法

一天傍晚,在景观河散步,看到景观河旁边雕塑鸭子,就用手机拍摄下来,但由于是晚上光线不是太好,且雕塑下面的地板有条纹和阴影。想着尝试用传统的数字图像处理方法把鸭子从自然场景中提取出来。 读入低照度下图像&#…

Seal^_^【送书活动第7期】——《IT项目经理进阶之道》

Seal^_^【送书活动第7期】——《IT项目经理进阶之道》 一、参与方式二、本期推荐图书2.1 作者荐语2.2 编辑推荐2.3 图书简介2.4 前言2.5 目 录 三、正版购买 从领导、客户、下属、供应商四个角度,介绍IT项目经理在实际工作中需要面对的挑战,以及一些常见…

【网络安全学习】漏洞扫描:-03- Nikito与Wapiti漏洞扫描的使用

1️⃣ Nikto漏洞扫描 Nikto是一个开源的Web扫描评估程序,它可以对目标Web服务器进行快速而全面的检查,以发现各种潜在的安全问题和漏洞。 🅰️ 如何使用 ❓ nikto -Display 1234ep -h [域名或IP地址] -o nikto.html # -h参数:指…

实战18:基于tkinter+jupyter notebook开发的情感分析系统

项目演示: 完整代码: import pandas as pd import numpy as np from collections import Counter import re import jieba from tqdm import tqdm from sklearn.metrics import roc_curve, auc import joblib import gensim from sklearn.svm import SVC from gensim.mode…

docker启动nacos挂载目录并修改配置文件

1 通过 Docker 拉取 nacos 镜像 docker pull nacos/nacos-server:v2.1.22 创建宿主机挂载目录 # 用于挂载 nacos 的日志 mkdir -p /mydata/nacos_home/logs/ # 用于挂载 nacos 的配置 mkdir -p /mydata/nacos_home/conf/ # 用于挂载 nacos 的数据 mkdir -p /mydata/nacos_hom…

小林图解系统-四.内存管理 4.1 为什么要有虚拟内存?

虚拟内存 单片机没有操作系统,单片机的CPU是直接操作内存的物理地址。 要想在内存中同时运行两个程序是不可能的。如果第一个程序在2000的位置写入一个新的值,将会擦掉第二个程序存放在相同位置上的所有内容,所以同时运行两个程序会立刻崩溃…

远程桌面修改端口号后无法连接,怎么解决

远程桌面连接让用户在不同地点,不同设备上远程控制一台计算机,很大程度上节约了用户的成本并且提高了办公的灵活性和高效性。有时候修改了端口号就会连接不上,那该怎么办呢? 1. 检查本地计算机和远程计算机是否都连接了网络且网…

《精通嵌入式Linux编程》——解锁嵌入式Linux开发的无限可能

文章目录 📑前言一、书籍概览与作者风采二、内容详解与特色亮点2.1 嵌入式Linux基础与入门2.2 系统编程与内核探索2.3 驱动开发与实战演练2.4 内存管理与性能优化2.5 系统调试与性能提升2.6 综合项目实践与案例分析 三、书籍价值与应用展望 📑前言 在当今…

利用反向代理编写HTTP抓包工具——可视化界面

手写HTTP抓包工具——可视化界面 项目描述语言golang可视化fynev2功能代理抓包、重发、记录 目录 1. 示例1.1 主界面1.2 开启反向代理1.3 抓包1.4 历史记录1.5 重发 2. 核心代码2.1 GUI2.1 抓包 3. 结语3.1 传送门 1. 示例 1.1 主界面 1.2 开启反向代理 1.3 抓包 1.4 历史记录…

国产32位高精度低功耗DSP音频处理芯片-DU561

DU561是一款集成多种音效算法高性能32位DSP音频处理芯片;具有高速、高精度、高稳定性等特点,能实现对音频信号的滤波、增强、降噪、混响、变调等处理,广泛应用于音频系统、通信系统、汽车音响、家庭影院、舞台设备等领域。 音频处理可以更好地…