ByConity 社区回顾|ByConity 和开发者们一起展望未来,携手共进!

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

新年伊始,我们想在这里感谢一群 ByConity 社区的小伙伴们。

正是因为有社区的开发者的支持,截止到 2023 年底,ByConity GitHub 获得 1409 Star,595 pull request,累计 61 位 Contributor 共建者参与代码贡献,社区主办活动超过 10 场,来自知乎、MetaApp、天翼云、Shein、烽火软件、携程等多家企业用户正在基于 ByConity 做技术实践和探索。

版本发布

2023 年 1 月 10 日, ByConity 发布 Beta(v0.1.0-beta)版本,并在社区小范围征集用户试用,2023 年 5 月,ByConity 正式宣布开源。在这一年里,ByConity 先后经历了 3 个版本的迭代。

2023 年 12 月 18 日, ByConity 0.3.0 版本正式发布。这个版本提供了倒排索引,基于共享存储的选主方式等多项新特性,对冷读性能进行了进一步的优化,对 ELT 能力也进行了进一步的迭代,同时修复了若干已知问题,进一步提升了系统的性能和稳定性。

  1. 倒排索引:在 ByConity 使用过程中,很多业务对文本检索相关能力(如 StringLike)提出了非常高的需求,希望社区能够优化相关查询性能,同时兼容 ClickHouse 在今年支持的倒排索引的能力。为满足业务诉求,保持生态兼容,同时提升 ByConity 的文本检索能力,ByConity 在 0.3.0 版本加入了对文本检索的支持,为日志数据分析等场景提供高性能查询。

  2. 基于共享存储的选主方案:在 ByConity 架构中存在多种控制节点,它们需要各自通过多副本 + 选主来提供高可用的服务能力,例如 Resource Manager,TSO 等。实际中的多个计算 server,也需要选出一个单节点来执行特定的读写任务。之前 ByConity 使用了 clickhouse-keeper 组件来进行选主,该组件基于 Raft 实现,提供兼容 zookeeper 的选主接口。但是在实际的使用中遇到了很多运维问题,例如需要部署 3 个以上节点才能提供容灾,增加运维负担;节点增删和服务发现流程复杂;容器重启后如果服务变换 ip 和服务端口,keeper 组件难以快速恢复,等等。考虑 ByConity 作为一个新的云原生服务,并不需要兼容 ClickHouse 对 zookeeper 的访问,我们选择了基于存算分离的云原生架构实现一种新的选主方式来优化以上问题。

  3. 冷读性能的进一步提升:在 ByConity 0.2.0 中,我们通过引入 IOScheduler 等方式提高了冷读查询的性能,尤其是在 S3 上的冷读性能。0.3.0 版本通过引入 ReadBuffer 的 Preload 等优化,进一步提高了冷读性能。

  4. ELT 能力增强:在 0.3.0 中,我们引入新的 BSP 模式,通过 stage by stage 的执行以及增强 disk based shuffle,满足有限条件下的计算,提高吞吐。在 ByConity 中复杂查询对 query plan 的 stage 进行了切分并进行了 stage by stage 的调度,但在语义上仍然是 all at once 的调度。ELT 在执行时需要对查询进行分阶段运行,需要进一步达到 stage by stage 执行的效果。

更多 0.3.0 相关特性及优化的内容大家可以复制链接查看:https://github.com/ByConity/ByConity/releases/tag/0.3.0

RoadMap

2024 年 ByConity 计划每个季度一个版本 Release,发布节奏如下:

在 2024 年,我们仍将持续在 GitHub 上同步社区的 RoadMap:https://github.com/ByConity

社区活动

2023 年 ByConity 主办了 2 场线下活动,连接北京和上海的开发者们。

2024 年我们会在更多的城市举办 Meetup,欢迎大家与我们交流希望我们举办 Meetup 的城市,我们会在 2024 年在线下汇聚更多大数据领域的开发者们,共同探讨大数据、数据库前沿技术及其应用,同时也为当地的开发者们提供一个友好交流的技术平台。

同时,我们也参与了 GOTC、QCon、DTCC、CosCon'23、国际开源节云原生技术沙龙、Fintech Festival 等多场外部大会的演讲。我们在这些活动中分享了关于 ByConity 的最新技术、应用和发展,与来自不同领域的专家、学者和开发者进行了深入的交流和探讨。

2023 年 ByConity 主办每月一次的线上 webinar,为社区的开发者们介绍 ByConity 的最新技术特性。为了让大家了解 ByConity 的查询性能,我们发布了第一期 TPC-DS 测试活动6 月初我们分享了 ByConity 在云上部署的方法:《ByConity 如何在 Kubernetes 上无感扩缩容》之后收到很多用户反馈和建议,例如部署过程中需要安装的组件过多、本地软硬件环境引起部署失败等问题。因此我们做了一些优化,提供了更加容易上手的一键部署方式,主办了 ByConity 快速部署有奖征集活动。

社区荣誉

在众多开发者及合作伙伴的鼎力支持下,ByConity 社区在过去一年取得了开源圈内的荣誉。我们荣获了思否「2023 中国技术先锋年度榜单—中国技术品牌影响力企业」、IT168「2023 年度技术卓越奖」等开源奖项,得到了在大数据领域的影响力和专业度。

这些荣誉的背后,离不开每一位社区成员的付出与努力。在此,我们衷心感谢大家的支持与信任。

为了持续优化我们的产品和服务,ByConity 社区始终保持开放、包容的态度,欢迎各位有志之士共同参与社区建设。无论您是对我们的产品有任何疑问,还是对社区发展有任何建议,都可以在 GitHub 上提交 PR 或 Issues。同时,我们也诚邀各位成为 ByConity 社区的 Contributor,与我们携手共建一个更加开放、活跃、有价值的社区。让我们共同见证 ByConity 社区的成长与繁荣!

加入社区

在过去的一年里,社区共建者们的贡献如星辰大海般璀璨。展望未来,我们期待与更多的志同道合者共同成长,一起迈向更高的目标。让我们携手并进,共同开启新的征程!欢迎大家扫码加入 ByConity 微信交流群(备注姓名+公司+职位)。

新年礼包

最后,我们为大家准备了一批龙年礼包🎁

欢迎大家点击链接填写问卷(截止日期 2024 年 2 月 18 日)(https://bytedance.larkoffice.com/share/base/form/shrcnIQ2rsbQV9YiJGoY8Dajh4f),回顾你与 ByConity 社区相识相知的故事~我们会选出 10 位社区小伙伴送上定制周边😄

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/322405.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

电脑的任务栏怎么恢复到底下?简单的4个方法帮你解决!

“我在使用电脑的时候突然发现电脑底部的任务栏不见了,有什么方法可以将任务栏恢复到底下吗?快给我出出主意吧!” 在使用电脑时,我们可能会发现电脑的任务栏跑到屏幕顶部或消失的情况。这不仅影响了我们的使用体验,还可…

SMD NTC Thermistor NTC热敏电阻产品基本参数定义

热敏电阻器(Thermistor)是一种电阻值对温度极为灵敏的半导体元件,温度系数可分为Positive Temperature Coefficient 正温度系数热敏电阻又称PTC热敏电阻和Negative Temperature Coefficient 负温度系数热敏电阻又称NTC热敏电阻. NTC热敏电…

20240115-【UNITY 学习】第一人称移动增加斜坡移动、冲刺和蹲伏功能

直接修改或者替换PlayerMovement_01.cs using System.Collections; using System.Collections.Generic; using UnityEngine;public class PlayerMovement_02 : MonoBehaviour {private float moveSpeed; // 玩家移动速度public float walkSpeed 7; // 行走速度public float sp…

运筹说 第91期 | 网络计划经典例题讲解

通过前几期的学习,我们已经学会了网络图的基本概念、时间参数的计算,并且掌握了随机网络的概念、图解评审法的基本原理和基本解法,本期小编带大家学习网络计划在经济管理中的应用。 在实际工作中,我们能发现网络计划在经济管理中…

ThingsPanel部署和使用

前置条件: 首先默认大家有一台服务器或者云服务器并且已经搭建好环境。小编是基于Linux宝塔环境以Docker安装ThingsPanel平台。 一.Docker和Docker-compose 1.概述 Docker是一个开源的容器化平台,它可以帮助开发者将应用程序与其依赖项打包到一个轻量…

Windows10 Docker Desktop安装

一、简介 Docker Desktop是Docker公司推出的一款桌面应用程序,它提供了一个用户友好的界面,方便开发人员在本地环境中使用容器技术。 容器是一种轻量级的虚拟化技术,可以将应用程序和其依赖项打包在一起,形成一个独立、可移植的…

gateway Redisson接口级别限流解决方案

文章目录 前言1. 计数器算法(固定窗口限流器)2. 滑动窗口日志限流器3. 漏桶算法(Leaky Bucket)4. 令牌桶算法(Token Bucket)5. 限流队列应用场景实现工具 一、Redisson简介二、Redisson限流器的原理三、Red…

Docker实战06|深入剖析Docker Run命令

前几篇文章中,重点讲解了Linux Namespace、Cgroups、AUFS的核心原理,同样也是Docker的底层原理实现。目录如下: • 《Docker实战01|容器与开发语言》 • 《Docker实战02|Namespace》 • 《Docker实战03|C…

RPA与通知机器人的完美结合

写在前面 在现代快节奏的工作环境中,我们经常会面临多个任务同时进行的情况,你还在为时间不够用、忙碌而惆怅吗?你还在为时刻盯着电脑流程而烦恼吗?你还在为及时收不到自己的自动化任务进度而焦躁吗?别担心&#xff0…

6K star! 100%本地运行LLM的AI助手

AI套壳千千万万,你最喜欢哪一款?现在各种ChatGPT替代品层出不穷,但是大部分都是使用OpenAI的API,也就说离不开网络。 今天我们推荐的开源项目它就是要帮你100%在本地运行大模型,进而构建一个属于自己的ChatGPT&#x…

直播岗位认知

一、直播平台特性与规则 作为直播岗位的一员,首先要了解所使用的直播平台的特性与规则。不同的平台有着不同的用户群体和特点,同时也有各自的运营规则和规范。熟悉平台的操作界面、功能特点、用户行为规范、广告和版权等方面的规定,对于保证…

Vue Axios——前端技术栈

文章目录 基本介绍Vue是什么? MVVMVue的使用快速入门注意事项和使用细节 Vue 数据绑定机制分析数据单向渲染注意事项和细节 双向数据绑定事件绑定示例:注意事项和使用细节课后作业1课后作业2 修饰符示例 条件渲染/控制: v-if v-showv-if VS v-show课后作…

[HTML]Web前端开发技术12(HTML5、CSS3、JavaScript )——喵喵画网页

希望你开心,希望你健康,希望你幸福,希望你点赞! 最后的最后,关注喵,关注喵,关注喵,佬佬会看到更多有趣的博客哦!!! 喵喵喵,你对我真的…

ArcGIS Pro中怎么加载在线地图

当我们在制图的时候,有的时候需要加载在线地图,在ArcGIS Pro中加载在线地图的方式有很多,这里为大家介绍一下加载的方法,希望能对你有所帮助。 加载底图 在菜单栏上选择地图,点击底图,可以看到所有可加载…

【PyQt小知识 - 7】:QLineEdit设置输入的文本以圆点或星号等方式显示

文章目录 setEchoMode setEchoMode 在PyQt中,QLineEdit是一种用于接收用户输入的小部件(widget)。setEchoMode是QLineEdit类中的一个方法,可以用于设置文本输入框中的文本显示模式。它接受一个参数来指定要使用的模式。 setEcho…

「JavaSE」类和对象2

🎇个人主页:Ice_Sugar_7 🎇所属专栏:快来卷Java啦 🎇欢迎点赞收藏加关注哦! 类和对象2 🍉匿名对象🍉关键字static🍌static修饰成员变量🍌static修饰成员方法&…

JavaScript switch case语句

JS switch case 语句与 if else 语句的多分支结构类似,都可以根据不同的条件来执行不同的代码;但是与 if else 多分支结构相比,switch case 语句更加简洁和紧凑,执行效率更高。 JavaScript switch case 语句的语法格式如下&#…

认识SpringBoot中的条件注解

✅作者简介:大家好,我是Leo,热爱Java后端开发者,一个想要与大家共同进步的男人😉😉 🍎个人主页:Leo的博客 💞当前专栏: 循序渐进学SpringBoot ✨特色专栏: MySQL学习 🥭本文内容:认识SpringBoot中的条件注解 📚个人知识库: Leo知识库,欢迎大家访问 1.前…

实人认证(人像三要素)API:加强用户身份验证

前言 在当今数字化时代,随着互联网应用的广泛普及,用户身份验证的重要性日益凸显。实人认证(人像三要素)API作为一种新型的身份验证方式,凭借其高效、安全和便捷的特性,正在成为加强用户身份验证的强大工具…

微调您的Embedding模型以最大限度地提高RAG管道中的相关性检索

英文原文地址:https://betterprogramming.pub/fine-tuning-your-embedding-model-to-maximize-relevance-retrieval-in-rag-pipeline-2ea3fa231149 微调您的Embedding模型以最大限度地提高RAG管道中的相关性检索 微调嵌入前后的 NVIDIA SEC 10-K 文件分析 2023 年…