让数据更「高效」一点!IvorySQL在Neon平台上的迅速部署和灵活应用

图片

IvorySQL本身就是一个100%兼容PostgreSQL最新内核的开源数据库系统,而Neon Autoscaling Platform通常支持多种数据库和应用程序。将IvorySQL集成到该平台后,可以进一步增强与其他系统和应用程序的兼容性,同时更全面的体验IvorySQL的Oracle兼容功能带来的便利和优势,为用户提供更加灵活和多样化的选择。

在这篇文章中,我们将演示如何将 IvorySQL集成到 Neon Autoscaling Platform 的过程,引导您完成每个步骤,并提供清晰的说明和演示。

01

什么是Neon Autoscaling?

Neon的弹性伸缩功能为付费用户提供了极大的便利,该功能能够根据当前负载动态调整分配给Neon计算节点的计算资源量,无需用户进行繁琐的手动干预。

Neon Autoscaling的基本架构如下所示。有关更多详细信息,您可以参考这里。

https://docs.ivorysql.org/en/ivorysql-doc/v3.2/v3.2/8#architecture-overview

图片

弹性缩放主要功能:

>>>实时迁移

当Kubernetes集群中的节点负载趋于饱和时,NeonVM会管理实时迁移VM的流程,确保以最小的中断(通常仅约100毫秒)将VM从一台计算机无缝转移至另一台计算机。这一实时迁移机制不仅能在节点达到容量极限前主动减少负载,还能极大地提升集群的灵活性和可靠性。

>>>内存扩展

通过使用cgroups,Postgres的内存使用情况可以实现动态调整,当需要时,它能够有效地通过Kubernetes集群中的弹性伸缩程序代理请求其他的资源,以确保数据库始终保持最佳性能。

>>>本地文件缓存

利用Postgres扩展,我们实现了本地文件缓存功能,该功能能够充分利用额外的VM内存和动态调整缓存大小来加速查询处理速度,确保在扩展事件期间实现无缝且高效的操作。

通常,Neon的垂直弹性伸缩功能可智能地管理NeonVM中基于Postgres的计算节点的性能,通过动态分配和解除vCPU与RAM资源,实现高效且灵活的资源调度。

02

将IvorySQL放入Neon Autoscaling平台

在本节中,我们将为您详细指导IvorySQL 3.2版本与Neon Autoscaling平台的集成流程。在开始之前,请运行相应的命令以获取并查看Autoscaling的源代码。

git clone https://github.com/neondatabase/autoscaling.git
cd autoscaling
git checkout v0.28.1 -b IvorySQL3.2-autoscaling

接下来,请按照以下步骤对Autoscaling平台发布tagv0.28.1进行相应的更改。

2.1 创建IvorySQL vm示例

要创建IvorySQL VM示例,需要先复制“vm-examples”目录下的“pg16-disk-test”文件夹,并将其命名为“ivy3-disk-test”,然后对“image-spec.yaml”文件进行主要修改,修改后的所有文件均可在指定位置获取。

2.2 创建IvorySQL部署文件

为了创建IvorySQL的部署文件,请复制“vm-deploy.yaml”文件并命名为“vm-deploy-ivy3.yaml”。接下来,请参照提供的示例文件,对“vm-deploy-ivy3.yaml”进行必要的修改。

2.3 将ivy3-disk-test添加到Makefile

将“ivy3-disk-test”添加到Makefile中,并合并所需的修改,以便能够通过执行“make ivy3-disk-test”命令来构建“ivy3-disk-test”镜像。

2.4 加载liboracle_parser库

要加载 “liboracle_parser” 库,请在 “postgresql.conf” 的末尾添加以下行:shared_preload_libraries = 'liboracle_parser'。

如果要跳过上述所有步骤,只需运行以下命令即可:

git clone https://github.com/HighgoSoftware/autoscaling-ivorysql.git
cd autoscaling-ivorysql
git checkout IvorySQL3.2

2.5 使用kind设置本地Kubernetes集群

使用kind设置本地Kubernetes集群。下面简要概述了使用kind设置垂直自动缩放的过程;详情请参考此处。

1)构建NeonVM Linux内核:

make kernel

2)构建docker镜像:

make docker-build

3)使用kind启动本地集群:

make kind-setup

4)部署NeonVM和Autoscaling组件:

make deploy

5)生成并加载测试VM:

make pg16-disk-test

6)启动测试VM:

kubectl apply -f vm-deploy.yaml

7)运行pgbench:

VM_NAME=postgres16-disk-test scripts/run-bench.sh

2.6 体验IvorySQL的弹性伸缩

如果您已经按照上述步骤,成功自动扩容了 “postgres16”,那么运行以下三个命令,即可体验 IvorySQL 3.2 的自动扩容功能。

make ivy3-disk-test
kubectl apply -f vm-deploy-ivy3.yaml 
VM_NAME=ivorysql3-disk-test scripts/run-bench.sh

一段时间后,您应该会看到每秒事务数(tps)自动增加,如下所示。

图片

如果要缩减计算资源,可以使用以下patch命令:

kubectl patch neonvm ivorysql3-disk-test --type='json' -p='[{"op": "replace", "path": "/spec/guest/cpus/use", "value":0.25}]'

一段时间后,您应该能够观察到每秒事务数(tps)减少,如下所示。

图片

除了使用patch命令之外,您还可以使用编辑命令 'kubectl edit neonvm ivorysql3-disk-test' 来扩展或缩减IvorySQL计算节点。只需更改“cpus”部分下的“use”值,如下所示:

spec:
    enableAcceleration: true
    guest:
        cpus:
            max: 1250m
            min: 250m
            use: 250m

2.7 体验 Oracle 与 IvorySQL 的兼容性

为了简化操作,避免使用复杂的Kubernetes命令,您可以选择直接登录运行IvorySQL的虚拟机。以下是登录IvorySQL VM、连接到IvorySQL数据库、检查版本以及测试Oracle兼容功能的详细步骤示例。

IVY_VM=$(kubectl get neonvm ivorysql3-disk-test -ojsonpath='{.status.podName}')

kubectl exec -it $IVY_VM -- screen /dev/pts/0

图片

上面的屏幕截图显示IvorySQL 3.2在Neon Autoscaling Platform 上运行,并支持使用Oracle DUAL Table 的sysdate 查询。您可以参考IvorySQL开发人员指南,探索更多Oracle兼容功能。

03

总结

这篇文章提供了将IvorySQL集成到Neon垂直弹性伸缩平台的指南。通过详细的说明和演示,希望您可以了解如何将基于IvorySQL的数据库合并到Neon弹性伸缩环境中,并体验IvorySQL与Oracle的兼容功能。

04

今后工作

未来,我们正在考虑:

  • 合并Postgres-16将Neon更改为IvorySQL作为无服务器分支。

  • 使IvorySQL 3.0成为Neon存储库的子模块。

  • 构建具有独立存储节点的IvorySQL 3.0计算节点。

当IvorySQL集成到Neon Autoscaling Platform后,最终用户将能够指定除PostgreSQL 14/15/16之外的IvorySQL计算节点,同时更全面的体验IvorySQL的Oracle兼容功能带来的便利和优势。

原文链接:

https://www.highgo.ca/2024/05/02/bringing-ivorysql-to-neon-autoscaling-platform/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/609201.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

深入探究 Spring Boot Starter:从概念到实践

序言 Spring Boot Starter 是 Spring Boot 生态系统中的一个核心概念,它为开发者提供了一种便捷的方式来捆绑和配置应用程序所需的依赖项。本文将深入探讨 Spring Boot Starter 的概念、原理以及如何创建自定义的 Starter。 一、什么是 Spring Boot Starter Spri…

docker 安装elasticsearch8.X

docker 安装elasticsearch8.X 安装elasticsearch8.X前言安装elasticsearch安装elasticsearch-analysis-ik安装kibana 安装elasticsearch8.X 前言 由于需要安装elasticsearch、IK分词插件、kibana。所以需要保持这三者的版本一致性。 elasticsearch 8.12.2 kibana 8.12.2 ela…

科沃斯梦碎“扫地茅”,钱东奇跌落“风口”

昔日“扫地茅“不香了,科沃斯跌落神坛。 4月27日,科沃斯发布2023年报显示:2023年,科沃斯的营收为155.02亿元,同比增加1.16%;同期,净利为6.10亿元,同比减少63.96%。科沃斯的经营业绩…

Mysql数据在磁盘上的存储结构

一. 前言 一行数据的存储格式大致如下所示: 变长字段的长度列表,null值列表,数据头,column01的值,column02的值,column0n的值… 二. 变长字段 在MySQL里有一些字段的长度是变长的,是不固定的,…

可视化-实验五-Pyecharts工具包的使用及文本数据可视化

1.2.1 pyecharts的数据类型以及新的数据导入逻辑 由于pyecharts背后封装的js库,会涉及到数据类型转化。它暂时要求输入数据必须是python的基础数据类型,比如字符串,列表,字典,而不能是序列这样的数据类型。因此序列输入…

RockChip Android13 添加/删除ListPreference方法

概述: 本章将讲述在Android添加或删除ListPreference的几种方法,并以EthernetSettingsActivity为例,添加/删除一项ListPreference: 默认效果图: 添加后效果图: 方法一: 1、全部添加xml 在Activity类中使用addPreferencesFromResource()方法解析XML文件并添加Prefere…

Node.js安装与配置环境 v20.13.1(LTS)

1 下载 Node.js — Run JavaScript Everywhere LTS -- long-term support,长期维护版本 如果要下载其他版本在download里选择下载 2 安装 一路点击next,默认安装路径C:\Program Files\nodejs 3 环境变量配置 1)Path环境变量增加nodejs安装…

艾体宝方案 | 加密USB金融解决方案

在现代金融行业中,保护敏感数据和合规性已成为至关重要的任务。为了帮助金融公司应对移动性风险和合规挑战,我们提供了一种高效的加密USB解决方案。 一、为什么金融公司需要加密USB解决方案 1、降低移动性风险 金融服务公司正在迅速过渡到一种模式&a…

将本地托管模型与 Elastic AI Assistant 结合使用的好处

作者:来自 Elastic James Spiteri, Dhrumil Patel 当今公共部门组织利用生成式人工智能解决安全挑战的一种方式。 凭借其筛选大量数据以发现异常模式的能力,生成式人工智能现在在帮助团队保护其组织免受网络威胁方面发挥着关键作用。 它还可以帮助安全专…

短信平台群发服务有什么优点

短信平台群发服务有什么优点 提高营销效率 短信平台群发服务利用自动化技术,可以帮助企业迅速向大量潜在客户营销信息。相比传统的逐一方式,群发服务可以同时大批目标客户,大大提高了营销效率。企业可以轻松地在短时间内覆盖更多的潜在客户&…

JavaSE——异常(2/2)-异常的处理(记录异常并提示 、尝试重新修复)

目录 记录异常并提示 案例演示 流程解析 写法优化 尝试重新修复 开发中对于异常的常见处理方式 一层一层往上抛出异常,并且在最上层捕获异常,分为两种不同的处理方式。 例如,B站网页报错就是采取的第一种方式: 记录异常并…

linux 性能监控命令之dstat

1. dstat 系统默认为安装,直接安装阿里源后,yum install -y dstat安装即可,该命令整合了 vmstat , iostat 和 ifstat,我们先看下效果: 我们先看看具体参数: [rootk8s-master ~]# dstat --help …

C++STL初阶(1):string的使用及初阶原理

此文作为学习stl的笔记,许多普及、概念性的知识点将不再罗列(如stl的发展、背景等) 便于读者作为复习等方法了解。 0.STL简介(笔记向) STL不是祖师爷本贾尼实现的,是在惠普实验室中实现的。其作为一个数据结…

加密“发射台”:未来通信的新模式

随着区块链技术的飞速发展,加密“发射台”作为一种新兴的安全通信工具,正逐渐受到关注。本文将从专业角度深入探讨加密“发射台”的概念、原理、应用场景及其未来发展趋势,以期为读者提供有深度和逻辑性的思考。 一、加密“发射台”的概念与…

开源项目介绍-02 Aubio【1】环境配置和使用 @ Ubuntu + Pycharm + Python

前言: aubio 是一组算法和工具,用于标记和变换音乐和声音。它扫描或监听音频信号,并尝试识别音乐事件。例如,当鼓被击打时,它能检测到音符的频率,或者一个有节奏的旋律的节拍是多少。 aubio 的功能包括&a…

java 文件表创建及前后端使用

表结构task_file 前端具体到业务表单 <el-form-item label"任务附件" prop"taskAttachment"><el-upload ref"upload" accept".jpg, .png, .txt, .xlsx, .doc, .docx, .xls, .pdf, .zip, .rar":action"upload.url" …

C语言例题39、输入一个正整数,将其反方向逆序输出

#include <stdio.h>void main() {int x;int ge; //个位int result 0;printf("请输入一个正整数&#xff1a;");scanf("%d", &x);while (x > 0) {//解题原理ge x % 10;//每次分解取得个位的数字result result * 10 ge;//个十百千万顺序向左…

限购仅剩6地,透过房价地图看楼市行情!

同一天&#xff0c;两地取消限购&#xff01; 5月9日&#xff0c;继杭州取消限购之后&#xff0c;西安也宣布全面取消住房限购&#xff01; 现在&#xff0c;我们透过几幅楼市数据的分布地图&#xff0c;来看看5月的楼市行情&#xff01; 楼市限购&#xff0c;仅剩6地&#…

YOLOv9改进策略 :一种新颖的通用倒瓶颈(UIB)搜索块助力检测| 轻量化之王MobileNetV4

💡💡💡创新点:轻量化之王MobileNetV4 开源 | Top-1 精度 87%,手机推理速度 3.8ms,原地起飞! 最主要创新:引入了通用倒瓶颈(UIB)搜索块,这是一个统一且灵活的结构,它融合了倒瓶颈(IB)、ConvNext、前馈网络(FFN)以及一种新颖的额外深度可分(ExtraDW)变体技…

【iOS】事件传递与响应机制

文章目录 前言事件UIEvent一、事件传递遍历顺序 二、手势识别三、响应机制UIResponder&#xff08;响应者&#xff09;响应者链 四、相关应用扩大button点击范围穿透事件 总结 前言 提到响应者链与事件传递&#xff0c;如果看过其他人的博客&#xff0c;经常能看到这经典的三张…