CommunityOverCode是由Apache软件基金会(ASF)主办的一系列全球性会议,旨在促进开源技术的发展和社区参与。自1998年以来,ApacheCon一直是这一系列活动的核心,吸引了不同背景和技术层级的参与者,关注于“明天的技术”。随着对亚太地区日益增长的关注,2021年首次举办面向该地区的在线会议,并在北京成功举办了首场线下会议。
今年,CommunityOverCode Asia 2024定于7月26-28日在杭州举行,将继续展现Apache项目的最新进展、孵化中的创新以及开源社区的运作模式等议题,同时探讨开源软件的商业模式、法律问题及其他相关话题,致力于连接全球开源爱好者、Apache用户和开发者,共同推进开源技术的进步与发展。
本次大会直接对话Apache Flink、Apache Paimon、Apache Celeborn 等项目的 Committer及用户,他们将亲自揭秘项目背后的架构设计、技术挑战与解决方案,分享在大数据处理、实时分析、数据管理等领域的第一线应用经验,让理论与实践碰撞出火花,带领您深入技术腹地,领略开源魅力,助您在实际工作中游刃有余。
此外,活动现场特设Apache Paimon与Apache Celeborn展台,诚邀诸位开发者莅临展台,与项目Committer团队交流互动,共襄技术与创意的碰撞盛宴,赢取开源项目定制礼品。
技术分享
- Apache Flink
时间 | 地点 | 议题标题 | 主要介绍内容 | 讲师 |
---|---|---|---|---|
26日 2:30 pm-3:00 pm | ROOM 6 | Flink 应用程序的动态和增量配置管理 | 在快速发展的流处理领域中,Apache Flink 已成为开发强大、可扩展和实时数据处理应用程序的重要平台。然而,在动态环境下管理 Flink 应用程序的配置存在着显著挑战,包括需要灵活性、一致性以及在无停机情况下适应变化的能力。本议题将详细介绍 eBay 基础平台实现 Flink 应用程序动态和增量配置管理的方案。 | Wei Chen |
26日 3:45 pm - 4:15 pm | ROOM 6 | 在 Apache Flink 中混合流处理和批处理 | 在本次演讲中,我们将讨论混合模式的概念和优势,并介绍相关的技术挑战和设计解决方案。我们将演示在各种使用案例中,混合模式如何提高吞吐量超过 50%。此外,我们还将介绍 Flink 社区在此领域的最新进展和未来计划。 | 苏轩楠 |
26日 4:45 pm - 5:15 pm | ROOM 6 | 使用 Flink CDC 赋能实时数据集成 | 在数据速度和数量迅速增长的时代,Apache Flink 结合变更数据捕获(CDC)技术为实时数据集成提供了变革性的解决方案。本次演讲将深入探讨 Flink CDC 的架构和实现,重点介绍这种组合如何促进各行业间的实时数据同步、分析和决策。 | 任庆盛 |
27日 2:00 pm - 2:30 pm | ROOM 6 | 字节跳动对 Flink SQL 性能优化的探索与实践 | 随着字节跳动内部对流处理任务需求的日益增长,Flink SQL 的大规模应用已经逐渐在多个部门中普及。在本次演讲中,我们将详细介绍字节跳动内部进行的主要优化及所取得的结果。 | 李精卫 |
27日 3:00 pm - 3:30 pm | ROOM 6 | 货拉拉的 Apache Flink CDC 的实践与应用 | Lalamove 和货拉拉(Huolala)是一个按需配送平台,其使命是通过让配送变得快速、简单和实惠,为社区赋能。我们在社区最新的 Apache Flink CDC 3.0 上进行了实践,并将其应用于生产环境中。目前运行着 100 多个任务,我们将分享在生产实践中遇到的挑战和问题,并回馈给社区。 | Zheng Yu Chen |
27日 4:15 pm - 4:45 pm | ROOM 6 | 小米在使用 Paimon 进行 Flink 稳定性优化和业务效率提升方面的实践经验 | 这次分享主要介绍了小米在稳定性优化方面的一些优化措施,以及 Flink+Paimon 在帮助小米提高业务生产效率方面的案例分享。 | 王胜杰 |
- Apache Paimon
时间 | 地点 | 议题标题 | 主要介绍内容 | 讲师 |
---|---|---|---|---|
26日 2:30 pm - 3:00 pm | ROOM 5 | Apache Paimon:用于流处理、批处理和联机分析处理的统一数据湖 | 1、Paimon 从实时更新开始,解决了 CDC 数据进入数据湖的核心问题。 2、Paimon 解决了大量的可用性问题,可以使用 Spark 构建离线数据仓库。 3、Paimon 提供了删除向量、Z-order 和索引等技术,以提供高性能的 OLAP 查询。 | 李劲松 |
26日 4:15 pm - 4:45 pm | ROOM 8 | Paimon Append 表的实践旨在进行高性能分析 | 作为一项新兴的数据湖项目,Apache Paimon 正处于快速发展阶段。大多数人通过其流式数据湖功能来认识 Paimon,特别是其主键表的部分更新和 LSM 树结构。但是 Paimon 的非主键表(主要通过批量分析)也在大力发展。本演讲将介绍 Paimon 中的附加表。 | 叶俊豪 |
27日 2:00 pm - 2:30 pm | ROOM 5 | 基于 Apache Paimon 的中国联通流式 Lakehouse 的应用实践 | 本专题计划介绍中国联通基于 Apache Paimon 构建流式数据仓库的实践经验,主要包括中国联通的两个核心业务项目:实时用户标签和自然人。内容包括业务背景、流批量集成数据仓库架构、实践中遇到的问题及相应的解决方案、使用 Apache Paimon 解决问题所取得的收益以及未来的计划。 | Yunpeng Wang, Zhenhao Li |
27日 3:45 pm - 4:15 pm | ROOM 6 | Paimon x Spark:不仅仅是将数据摄入数据湖 | 这个主题将详细介绍 Paimon 和 Spark 的集成,包括功能的丰富、性能的提升、场景的扩展,以及与 Spark 原生引擎的集成。 | Yan Bi |
27日 4:15 pm - 4:45 pm | ROOM 6 | 小米在使用 Paimon 进行 Flink 稳定性优化和业务效率提升方面的实践经验 | 这次分享主要介绍了小米在稳定性优化方面的一些优化措施,以及 Flink+Paimon 在帮助小米提高业务生产效率方面的案例分享。 | 王胜杰 |
27日 4:15 pm - 4:45 pm | ROOM 5 | Apache Paimon 数据湖架构的洞察和设计分析 | 在本演讲中,我将深入探讨 Apache Paimon 数据湖项目的核心实施细节。通过本次分享,参会者将深入了解 Apache Paimon 数据湖项目。 | 陈卓宇 |
28日 4:15 pm - 4:45 pm | ROOM 8 | Apache Paimon:从孵化器到顶级项目(TLP) | 首先概述 Apache Paimon,并介绍 Paimon 如何帮助用户构建具有低延迟和高吞吐量的数据基础架构。作为 Apache Flink 社区的一个子项目,Paimon 曾有机会直接成为 Apache 的顶级项目。接下来,我们将讨论为什么我们选择经历孵化过程,如何逐步建立自己的路径成为顶级项目,我们从社区中获得了什么并回馈了什么,以及我们如何在 Apache 的方式下建立一个活跃多样的社区。最后,我们将总结本次会议,讨论 Apache Paimon 毕业后的路线图和未来发展,包括产品和社区两方面的展望。 | 翁才智 |
- Apache Celeborn
时间 | 地点 | 议题标题 | 主要介绍内容 | 讲师 |
---|---|---|---|---|
26日 2:00 pm - 2:30 pm | ROOM 6 | Apache Celeborn 社区进化与 Apache Flink Hybrid Shuffle 集成 | 在本次 Session 中,我们将分享这个先进的 shuffle 框架,重点介绍:1.Apache Celeborn 在不同引擎中的最新特性和未来路线图。2.Flink 在混合 shuffle 上与 Celeborn 的集成工作和未来计划。 | 郭伟杰 熊佳树 |
27日 3:00 pm - 3:30 pm | ROOM 4 | Apache Celeborn 在 Bilibili 的生产实践 | 1.介绍 Apache Celeborn 的最新功能 2.介绍 Apache Celeborn 在 Bilibili 上的最佳实践 3.提供 Apache Celeborn 在 Bilibili 上执行的简要概述 4.概述 Apache Celeborn 的未来实际计划 | Nicholas Jiang |
28日 2:00 pm - 2:30 pm | ROOM 3 | 将 Apache Celeborn 和 Apache Gluten 集成以实现云原生 Shuffle | 本次会议探讨了将 Apache Celeborn(孵化中)和 Apache Gluten(孵化中)进行集成的内容。Apache Celeborn 是一个新的孵化中的 Apache 项目,用于提供本地 SQL 引擎支持,而 Apache Gluten 则是一个用于处理 Shuffle 的孵化中的 Apache 项目。通过将这两个项目集成起来,可以增强 Apache Spark 在大数据计算环境中的性能。 | Weiting Chen, Kai Zhang, Keyong Zhou |
28日 4:45 pm - 5:15 pm | ROOM 2 | Apache Kyuubi、Celeborn 和 DolphinScheduler在 Cisco 中的实践应用 | 1、背景 2、Kyuubi(私有云和公有云)的实践应用 3、Kyuubi 与 DolphinScheduler 的集成 4、Kyuubi 与 Celeborn 的集成 | He Zhao, Pengqli Li |
开源集市
欢迎各位大数据开发者来开源市集上的 Apache Paimon 及 Apache Celeborn 展台,与项目的Committer们面对面交流心得。这不仅是一场技术的盛宴,更是一次心与心连接的宝贵机会,而且还有机会赢取我们精心准备的项目定制小礼品,让这份技术之旅留下温馨的纪念。期待在美好的一天里,与您相聚在这个充满活力与创意的空间,共同编织知识的网,不见不散哟!
参会报名
感兴趣参加的各位开发者,请扫描下方二维码完成参会报名~
欢迎您的加入,让我们在技术的浩瀚星海中,携手航行,共创辉煌!