在数字化浪潮席卷全球的当下，关系型数据库作为市场主导力量的地位依然稳固。然而，面对新兴数据库与服务形态的挑战，以及企业日益强烈的降本增效需求，数据库技术的发展必须紧跟时代步伐，充分发挥资源效能以提升企业竞争力。在2024“数据技术嘉年华”主论坛上，云和恩墨下一代原生HTAP企业级数据库研发团队负责人金毅分享了其团队在关系型数据库内核技术革新方面的深度思考与实践。
金毅首先引用了两个业界瞩目的案例：
马斯克接手Twitter后，通过对IT方案进行优化，将部分对象存储下云，实现了IT运行成本的节约；
Snowflake与Databricks在公开媒体上就单位分析计算的成本进行对比。
这两个案例共同指向一个核心议题——企业竞争力来自其自身高效运营，降本增效成为关键。在此背景下，单纯提升数据库单系统性能而不计成本及能耗的做法无法满足企业降本增效的需求。金毅强调，其团队致力于实践一种新的技术路径，使客户能在降本增效层面取得实质性成效。
经典的数据库内核技术历经大半个世纪的发展，其设计理念和优化策略仍围绕着慢速磁盘I/O为中心。然而，随着现代硬件环境的巨大变迁，成本友好的通用现代硬件特征表现为众核、大内存、高速I/O，然而经典数据库内核并不能充分发挥现代硬件算力。正如Stonebraker等人于2007年在VLDB发表的论文《The End of An Architectural Era (It’s Time for a Complete Rewrite)》所指出，现代硬件具备使数据库交易负载提升两个数量级的潜力。至2013年，Stonebraker等人在VLDB发表的论文《Anti-Caching: A New Approach to Database Management System Architecture》进一步提出改进思路：当代数据库应从以前围绕磁盘I/O的优化思路，转向以内存中的业务数据为核心进行优化，利用大内存和快速I/O的优势，充分释放物理并行计算内核的潜力。
据研究显示，在典型事务处理负载（TPCC）中，用于数据加工的有效计算仅占不足7%的CPU指令，其余大部分资源被用于诸如缓冲区管理、锁管理、预写日志等非直接相关计算任务。若能有效剔除这些关键路径上的计算成本，理论上交易负载性能可提升10倍以上。据此，金毅团队正在研发的下一代原生HTAP企业级数据库原型基于协程的并发计算框架，以低切换成本支持大规模并行计算会话，同时采用原位更新的内存优化实现MVCC，并着力解决全局热点访问问题。
谈及为什么继达成交易负载优化技术验证后，选择HTAP作为该数据库的目标场景，金毅表示：“HTAP的应用场景和需求一直广泛存在，优秀的HTAP能力能有效简化客户IT方案，并降低成本。但由于不同业务负载的优化技术特点往往大不相同且存在冲突，不同工作负载间往往无法达成优化配置和技术实现共存，这也导致当前没有数据库产品能够高效率满足客户的HTAP混合业务需求。”因此，云和恩墨的数据库研发团队重新思考实践原生HTAP技术，实现在不同工作负载间取得性能与成本的最优化平衡。
原生HTAP体现于数据库将仅使用一份数据和一套执行引擎实现交易负载和分析负载的性能优化。其核心在于利用“数据温度”——即根据数据访问频次，将其划分为热数据与冷数据，确保热数据常驻内存，为交易型场景提供性能优化支持；冷数据则进入高速SSD磁盘；长期无交易负载访问的冷数据被“凝结”，实现针对分析型场景的性能优化。对此，金毅的团队采用了以下三方面技术思路：
基于数据温度的智能存储优化，确保资源高效配置；
统一计算引擎，融合标量和向量处理；
强化资源隔离与调度算法。
现如今，云和恩墨的下一代数据库产品针对联机处理负载的优化已经取得阶段性成果——使用2路服务器，在NVMe SSD磁盘存在I/O交换场景下，服务器端TPCC模拟负载达成单机吞吐4200万tpmTotal、1900万tpmC的成绩。该成绩初步达成相对于已有关系型数据库性能数量级提升的目标。这一突破性的进展将未来为企业带来更高效、更低成本的联机处理负载解决方案。
对于云和恩墨的数据库研发团队来说，“创新”是技术发展的第一要义。他们正以前所未有的勇气重构数据库内核，打破既有架构限制，意图实现数据库性能质的飞跃。随着这一创新内核技术的持续演进和落地应用，我们有理由相信，它将为企业数字化转型注入强劲动力，开启数据库性能与成本效益的新纪元。
【参考资料】
[1] M Stonebraker, N Hachem, P Helland, The End of An Architectural Era (It’s Time for a Complete Rewrite). In VLDB2007
[2] J DeBrabant, A Pavlo, S Tu, M Stonebraker, S Zdonik, Anti-Caching: A New Approach to Database Management System Architecture. In VLDB2013
[3] S Harizopoulos, D J Abadi, S Madden M Stonebraker, OLTP Through the Looking Glass, and What We Found There. In Sigmod2008
数据驱动，成就未来，云和恩墨，不负所托！
云和恩墨创立于2011年，是业界领先的“智能的数据技术提供商”。公司总部位于北京，在国内外35个地区设有本地办公室并开展业务。
云和恩墨以“数据驱动，成就未来”为使命，致力于将创新的数据技术产品和解决方案带给全球的企业和组织，帮助客户构建安全、高效、敏捷且经济的数据环境，持续增强客户在数据洞察和决策上的竞争优势，实现数据驱动的业务创新和升级发展。
自成立以来，云和恩墨专注于数据技术领域，根据不断变化的市场需求，创新研发了系列软件产品，涵盖数据库、数据库存储、数据库云管和数据智能分析等领域。这些产品已经在集团型、大中型、高成长型客户以及行业云场景中得到广泛应用，证明了我们的技术和商业竞争力，展现了公司在数据技术端到端解决方案方面的优势。
在云化、数字化和智能化的时代背景下，云和恩墨始终以正和多赢为目标，感恩每一位客户和合作伙伴的信任与支持，“利他先行”，坚持投入于数据技术核心能力，为构建数据驱动的智能未来而不懈努力。
我们期待与您携手，共同探索数据力量，迎接智能未来。
