道旅科技借助云消息队列 Kafka 版加速旅游大数据创新发展

作者:寒空、横槊、娜米、公仪

道旅科技:科技驱动,引领全球旅游分销服务

道旅科技 (https://www.didatravel.com/home) 成立于 2012 年,总部位于中国深圳,是一家以科技驱动的全球酒店资源批发商。秉持“让旅游生意更好做”的使命,道旅科技聚焦全球酒店客房销售业务,并整合机票、目的地产品等旅游资源,为旅游产业链上下游合作伙伴提供一站式分销与采购服务,致力于提升行业的信息化水平和供需连接效率。

道旅科技自主研发的海外酒店实时库存聚合分销云端系统,在交易过程中提供系统及数据的聚合、分发服务。通过系统接入和手工输入等方式,与上游众多国际酒店批发商实现库存实时直连,现已成功对接超过 70 万家酒店和 800 多条国际航线,覆盖全球近 7500 个主流城市。经过数据和接口的标准化处理后,通过系统接入和网页预订模式,将海量酒店库存提供给来自 50 个客源地国家的 23,000 多家下游合作伙伴,包括在线旅游企业(OTA)、旅行社、商旅公司和航空公司等各类线上及线下同业客户。

Kafka 在道旅科技大数据平台中的应用与价值

互联网技术的迅猛发展极大地推动了旅游行业的数字化转型,使得旅游行业的数据量呈指数级增长。作为一家以科技为驱动力的全球酒店资源批发商,道旅科技需要高效管理和深入分析这些海量数据,以便更好地把握市场动态、满足客户需求、提升业务效率和优化用户体验。因此,道旅科技基于云原生架构与技术,打造了先进的大数据平台和强大的智能分析系统,以实现对海量旅游数据的深度挖掘和价值转化。

在此过程中,道旅科技选择了 Kafka 作为数据流处理的核心组件, 并期望其能够提供以下关键价值:

  1. 实时数据处理: 作为全球酒店资源批发商,道旅科技需要处理和分析海量旅游数据,包括用户行为数据和旅游产品信息,并且对于实时性有较高要求。
  2. 高并发高吞吐的消息传递: 在旅游旺季会产生巨大的数据流,需要系统能够支持高并发的消息传递,并确保在高负载情况下消息传递的稳定性和可靠性。
  3. 数据持久化和可靠性: 对于旅游大数据平台而言,数据的持久化和可靠性至关重要。需要确保数据不会因为系统故障而丢失,从而保证业务连续性和数据完整性。
  4. 高效管理成本和资源: 旅游行业的业务消息量波峰波谷相差较大,导致资源利用率不均衡,低谷期容易造成资源浪费。需要在保持系统高性能和稳定性的同时,提升资源分配和使用效率,实现有效的成本控制。

云消息队列 Kafka 版:道旅科技数据流处理的优选方案

阿里云云消息队列 Kafka 版 Serverless 系列凭借其卓越的弹性能力,为道旅科技提供了灵活高效的数据流处理解决方案。无论是应对突发流量还是规划长期资源需求,该方案均能帮助企业实现资源动态调整和成本优化,同时保障业务的高可用性和连续性。

成本效益

云消息队列 Kafka 版在成本上具有显著的竞争优势,与 Apache Kafka 相比,其定价平均低约 30%, 在某些特定场景下,成本降幅可达 80%。 如此显著的经济效益,得益于云消息队列 Kafka 版在架构层面一系列的关键优化和创新。

  • 细粒度按量计费: 云消息队列 Kafka 版 Serverless 系列提供了细粒度的计费模式,支持完全按使用量付费,而不是以云服务器 ECS 实例的粒度进行计费。
  • 计算单副本架构: 云消息队列 Kafka 版基于高性能分布式文件系统提供的分布式强一致性读写语义,实现了 Kafka 计算层的一写多读能力,Leader 写入数据,Follower 强一致可读,计算层无需多副本复制就能实现系统高可用。减少 60% 的复制流量同时也降低 CPU 使用率,大幅提升计算节点利用率。
  • 存储智能分层架构: 闪存介质支持低延迟、高吞吐,微秒级 IO 延迟,磁盘介质支持低成本,温数据高性价比存储,OSS 支持海量数据长期归档存储。通过全链路 CRC 校验保证数据不丢不错,通过纠删码/多副本保证可靠性,通过软硬件协同优化发挥效能,持续释放技术红利。
  • 使用成本优化: 云消息队列 Kafka 团队有长时间研发和运维经历,积累了大量的实战经验。结合客户的业务模型,提供 Kafka 最佳实践,客户端和服务端都有 50% 的成本优化,避免不必要的开支。同时制定容灾方案以防止数据丢失或服务中断,帮忙客户用好、用深产品。

稳定可靠

云消息队列 Kafka 版的稳定性是其在数据流处理场景中备受信赖的核心优势。道旅科技在使用云消息队列 Kafka 版期间从未发生过任何故障,这得益于其强大的架构设计和管理体系,为高效、安全的数据流处理提供了坚实的保障。

  • 多可用区容灾: 云消息队列 Kafka 版支持多可用区容灾体系,并达到了秒级 RTO(恢复时间目标)和零 RPO(恢复点目标)的高标准。即使发生整个可用区不可用级别的灾难性故障,系统也能在不丢失数据的情况下秒级恢复,确保数据的持续可用性和业务的连续性。
  • 自动化巡检: 云消息队列 Kafka 版的自动化巡检系统支持秒级巡检系统运行状态,及时发现异常情况。自动化运维手段减少了人为操作的错误概率,提高了系统的敏捷性和响应速度。
  • 报警机制: 云消息队列 Kafka 版具备完善的报警功能,涵盖多种潜在的故障类型和性能问题。无论是数据积压、节点故障,还是流量异常,报警系统都能迅速通知运维人员,使其能够及时采取措施,从而进一步增强了系统的稳健性和可靠性。

灵活弹性

云消息队列 Kafka 版 Serverless 系列以其卓越的弹性能力,为企业提供了高效的资源管理和业务连续性保障。

  • 自适应弹性: 云消息队列 Kafka 版 Serverless 系列在 20 MB/s - 1 GB/s 支持无感弹性;1 GB/s - 3 GB/s 支持秒级弹性;3 GB/s 以上支持分钟级弹性。客户可以依据业务流量的趋势,通过弹性能力极致地平衡成本与性能,从容且高效地应对突发流量高峰。
  • 秒级定时弹性: 对于超大规模集群,云消息队列 Kafka 版 Serverless 系列支持脉冲的定时弹性,允许预设弹性策略,在流量高峰期预留足够资源确保关键业务的持续性和稳定性,在低峰期则减少资源使用以节约成本,不仅提升了资源利用率,还降低了运维复杂度。

云消息队列 Kafka 版助力道旅科技:稳定可靠降本增效,推动旅游大数据创新

  1. 高稳定架构,为业务保驾护航: 云消息队列 Kafka 版凭借高吞吐与分布式架构,满足了道旅科技的实时数据收集、传输和高并发消息传递的需求。通过持久化能力与副本机制,进一步确保了数据可靠性和业务连续性。即使在高负载情况下也能稳定传递消息,防止数据丢失,维护数据完整性,从而保障旅游大数据平台的高效运行。
  2. 灵活资源管理,优化成本效益: 云消息队列 Kafka 版 Serverless 系列采用存算分离架构,并结合动态资源调整策略,能够根据实时业务负载自动进行弹性伸缩,实现按量付费,无需预先估算和配置实例规格。不仅降低了运维工作的复杂度,还显著降低了使用成本。

展望未来,阿里云云消息队列 Kafka 版将继续作为道旅科技的核心技术支撑,为其提供坚实的业务保障,助力道旅科技在业务效率和成本优化上持续取得突破,更高效地处理大规模数据流,从而推动旅游行业的创新与发展。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/953734.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【HarmonyOS NEXT】鸿蒙跳转华为应用市场目标APP下载页

【HarmonyOS NEXT】鸿蒙跳转华为应用市场目标APP下载页 一、问题背景: 如今,大家都离不开各种手机应用。随着鸿蒙系统用户越来越多,大家都希望能在鸿蒙设备上快速找到想用的 APP。华为应用市场里有海量的 APP,但之前从鸿蒙设备进…

JavaScript动态渲染页面爬取之Splash

Splash是一个 JavaScript渲染服务,是一个含有 HTTP API的轻量级浏览器,它还对接了 Python 中的 Twisted 库和 OT库。利用它,同样可以爬取动态渲染的页面。 功能介绍 利用 Splash,可以实现如下功能: 异步处理多个网页的渲染过程:获取渲染后…

Thrustmaster Hotas Warthog飞行操作杆开发

目录 0 摘 要 :简单说一下这篇文章在搞啥 1 背 景 :什么需求以及对开发的背景调查 2 环境配置 :具体需要什么环境,对软件层面的需求 3 硬件测试 :测试遥感器…

算法-查找数组对角线上最大的质数

力扣题目:2614. 对角线上的质数 - 力扣(LeetCode) 给你一个下标从 0 开始的二维整数数组 nums 。 返回位于 nums 至少一条 对角线 上的最大 质数 。如果任一对角线上均不存在质数,返回 0 。 注意: 如果某个整数大于…

电梯系统的UML文档02

现在我们来回答用UML 设计电梯系统的实践中遇到的问题:“UML 是一种适合于实时系统的建模语言吗?”我们发现基于上段提到的特征,UML 是适合的但有不足。用UML 设计实时系统有以下问题: •特定硬件及它们特征的定义。 •在对象、任务和硬件层…

mysql set age=‘0‘ 和 set age=0的区别?

select case when(t1.business_transfer‘source’)then 0 else t1.settlement_tyy_cash_amount end as tyy from t_settlement_waybill t1 where waybill_sn in (‘2025010700001’); select case when(t1.business_transfer‘source’)then (t1.settlement_tyy_cash_amount‘…

利用Java爬虫按图搜索1688商品(拍立淘)的实践指南

在当今数字化时代,网购已成为人们生活中不可或缺的一部分。而1688作为国内领先的B2B电商平台,汇聚了海量的商品资源。然而,在面对众多商品时,传统的文字搜索方式有时难以满足我们的需求。比如,当我们看到一件心仪的商品…

达梦8-DMSQL程序设计学习笔记1-DMSQL程序简介

1、DMSQL程序简介 DMSQL程序是达梦数据库对标准SQL语言的扩展,是一种过程化SQL语言。在DMSQL程序中,包括一整套数据类型、条件结构、循环结构和异常处理结构等,DMSQL程序中可以执行SQL语句,SQL语句中也可以使用DMSQL函数。 DMSQ…

使用 WPF 和 C# 将纹理应用于三角形

此示例展示了如何将纹理应用于三角形,以使场景比覆盖纯色的场景更逼真。以下是为三角形添加纹理的基本步骤。 创建一个MeshGeometry3D对象。像往常一样定义三角形的点和法线。通过向网格的TextureCoordinates集合添加值来设置三角形的纹理坐标。创建一个使用想要显示的纹理的 …

Git版本控制 - 创建使用Repository

Git版本控制 – 创建使用Repository Version Control with Git - Create and Use Repository By JacksonML 上文提到,Git是一种分布式版本控制系统。作为全球范围内广泛使用的工具,如何将项目分步骤运用到其中呢? 本文简要介绍如何用Git工…

WINFORM - DevExpress -> devexpress版--报表(report)

devexpress report模板 1.安装devexpress(DevExpress 总结【安装、案例】_caoyanchao1的博客-CSDN博客_devexpress) 2.新建vs项目且添加standarReportDesigner控件 涛神设计器注意 3.运行后步骤 点击New Report DetailReport 涛神设计器checkbox(3.复选框只认boolean类型的 b…

【Redis】初识Redis

目录 Redis简介 Redis在内存中存储数据 Redis数据库中的应用 Redis缓存中的应用 Redis消息中间件 尾言 Redis简介 如下是Redis官网中,对Redis的一段描述 在这段描述中,我们提取如下关键要点: Redis主要用于在内存中存储数据Redis可…

YOLOv9改进,YOLOv9自研检测头融合HAttention用于图像修复的混合注意力检测头

参考文章 完成本篇内容,首先完成这篇文章,并把代码添加到 YOLOv9 中: YOLOv9改进,YOLOv9引入HAttention注意机制用于图像修复的混合注意力转换器,CVPR2023,超分辨率重建 下文都是手把手教程,跟着操作即可添加成功 目录 参考文章🎓一、YOLOv9原始版本代码下载🍀🍀…

[读书日志]8051软核处理器设计实战(基于FPGA)第七篇:8051软核处理器的测试(verilog+C)

6. 8051软核处理器的验证和使用 为了充分测试8051的性能,我们需要测试每一条指令。在HELLO文件夹中存放了整个测试的C语言工程文件。主函数存放在指令被分为五大类,和上面一样。 打开后是这样的文件结构。HELLO.c是主文件,这是里面的代码&am…

occ的开发框架

occ的开发框架 1.Introduction This manual explains how to use the Open CASCADE Application Framework (OCAF). It provides basic documentation on using OCAF. 2.Purpose of OCAF OCAF (the Open CASCADE Application Framework) is an easy-to-use platform for ra…

python识别图片中指定颜色的图案并保存为图片

示例代码: def chuli(color):import cv2import numpy as np# 定义颜色名称到HSV阈值范围的映射color_thresholds {red: ([0, 100, 100], [10, 255, 255], [160, 100, 100], [180, 255, 255]),yellow: ([20, 100, 100], [30, 255, 255]),blue: ([90, 100, 100], [1…

《利用深度神经网络在广角小口径望远镜中实现天文目标的检测与分类》论文精读

摘要 大口径小口径望远镜被广泛应用于光学瞬态观测,对观测图像中的天文目标进行检测和分类是最重要也是最基础的步骤。本文提出了一种基于深度神经网络的天文目标检测与分类框架。该框架采用了Faster R-CNN的概念,以改进的Resnet-50为主干网络&#xff…

Redis数据结构服务器

Redis数据结构服务器 什么是Redis数据结构服务器 的概念和特点 是一个开源(BSD许可),内存中的数据结构存储服务器,可用作数据库、缓存和消息中间件。它支持多种类型的数据结构,如字符串(strings&#xff09…

逻辑测试题

https://blog.csdn.net/qq_39081315/article/details/121393597 先生成一个点,每生成一个点判断距离,角度,满足加入存点的容器,直到容器大小为4。 随机生成点: 分区域:最大距离20,以20为正方形…

【UE5 C++课程系列笔记】27——多线程基础——ControlFlow插件的基本使用

目录 步骤 一、搭建基本同步框架 二、添加委托 三、添加蓝图互动框架 四、修改为异步框架 完整代码 通过一个游戏初始化流程的示例来介绍“ControlFlows”的基本使用。 步骤 一、搭建基本同步框架 1. 勾选“ControlFlows”插件 2. 新建一个空白C类,这里…