【Apache Doris】周FAQ集锦:第 2 期

【Apache Doris】周FAQ集锦:第 2 期

  • SQL问题
  • 数据操作问题
  • 运维常见问题
  • 其它问题
  • 关于社区

在这里插入图片描述

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

SQL问题

❓Q1 查询报错:timeout when waiting for send fragments RPC

💡A1 fragments rpc通信超时导致,处理步骤:

  1. 检查网络是否正常
  2. 可升级至2.x.x新版本(2.0之前出现的较多,2.0比较少出现该异常)
  3. 可参考如下相关参数调整后再观察:
be.conf:
fragment_pool_thread_num_max = 2048 

fragment_pool_queue_size = 4096 

brpc_num_threads = 256 

fe.conf
remote_fragment_exec_timeout_ms = 30000 

具体可以查阅Doris论坛帖子:
https://ask.selectdb.com/questions/D1F4/she-qu-wen-ti-timeout-when-waiting-for-send-fragments-rpc-yi-chang/E1G4

❓Q2 为什么with select语法兼容,但insert into with select不支持?

💡A2 两种方式参考:

  1. insert into tabl with lable xxx
  2. insert into table (xxx)

具体demo可以查阅官方文档对应章节:
https://doris.apache.org/zh-CN/docs/data-operate/import/import-way/insert-into-manual/

数据操作问题

❓Q1 导入报错:get tableList write lock timeout

💡A1 如下:

  1. 通常是因为FE JVM内存设置太小,或者FE/BE混布导致的
  2. 出现该异常时,单独打一个 jstack,联系社区同学具体分析:
    jstack -l pid > 1.js
    具体可以查阅Doris论坛帖子:
    https://ask.selectdb.com/questions/D1O5/doris-2-0-4-get-tablelist-write-lock-timeout

❓Q2 stream load时报错:[PUBLISH TIMEOUT]transaction commit successfully, BUT
data will be visible later

💡A2 导入实际时成功的,只是延迟可见。在Apache Doris 2.0.4已优化,建议升级至>=2.0.4的版本。
Release 2.0.4,可以查阅:
https://doris.apache.org/zh-CN/docs/releasenotes/release-2.0.4

❓Q3 表中有个insertTime字段是默认生成时间的,streamload导入csv数据(不包含insertTime)时报错:actual column number in csv file is less than schema column number

💡A3 如果指定 columns ,需要包含所有表字段,例如
-H “columns: a,b,c,d,insertTime=current_timestamp()”

运维常见问题

❓Q1 BE无法正常启动:

W0304 16:03:13.052549 14927 olap_meta.cpp:80] rocks db open failed, reason:IO error: While lock file: /data/doris/be/storage/meta/LOCK: Resource temporarily unavailable 

W0304 16:03:13.053174 14927 data_dir.cpp:203] init OlapMeta failed, error: [IO_ERROR]open rocksdb failed, path=/data/doris/be/storage

💡A1 如下:

  1. be节点的磁盘损坏,需要检查目录磁盘是否健康
  2. 确认是否有自动拉起进程,可能是连续启动be导致:
    a. 若有自动拉起进程,则先stop
    b. 将be/storage/meta的LOCK文件移走
    c. 重启be即可

❓Q2 是否可以跨2个机房搭建Doris集群?

💡A2 如下:

  1. 不建议跨机房部署;跨机房之间的延迟一般是毫秒级,正常同机房时延级别在0.1ms以内,容易频繁出现brpc timeout异常
  2. 如果是主备场景,可以使用CCR:Apache Doris 2.0 推出跨集群数据复制功能

❓Q3 FE集群异常,fe.log :Clock delta: xxxx ms. between Feeder: xxxx and this Replica exceeds max permissible delta: xxxx ms

💡A3 非主 FE 到主 FE 主机之间的最大可接受时钟偏差超过默认值5秒导致,需要开启 ntp 确保时间同步,小于默认的5秒时差。由fe的max_bdbje_clock_delta_ms参数控制。
FE配置项:
https://doris.apache.org/zh-CN/docs/admin-manual/config/fe-config

❓Q4 Doris出现事务回滚失败后,回滚失败的数据会怎么处理?

💡A4 内部会有 GC 的逻辑,去定期删除清理。

其它问题

❓Q 基于Doris做数据分层和实时计算,有哪些方案?

💡A 关于Doris做数据分层和实时计算的方案可参考:

  1. 借助外部调度工具,比如DolphinScheduler,按分钟级微批调度分层
  2. 物化视图,实时地同步聚合(预聚合);2.1版本会发布多表物化视图,相当于大部分场景可以不借助外部调度工具,在Doris内部即可实现异步定时分层了
  3. Flink APP中进行分层将数据sink至doris,例如ods -> kafka -> flink -> dw -> kafka -> flink -> doris
  4. 后续规划doris binlog,即可实现ods -> doris <-> flink,当前还未出具体计划、可以持续关注中

在doris binlog未发之前,大部分用户选择的是前两种方式,因为绝大多数用户场景是允许3-5分钟左右的数据可见延迟。

关于社区

在这里插入图片描述

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/516943.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

ChatGPT 4.0报错 :“Hmm…something seems to have gone wrong.”

ChatGPT报错&#xff0c;GPT-3.5模型正常&#xff0c;GPT-4.0报错&#xff1a;“Hmm…something seems to have gone wrong.” 说明&#xff1a;嗯…好像出了什么问题。 原因&#xff1a; 部分用户在使用GPT-3.5模型时提问正常&#xff0c;GPT-4.0模型提问时&#xff0c;出现这…

如何使用 ChatGPT

原文&#xff1a;How To Use Chatgpt 译者&#xff1a;飞龙 协议&#xff1a;CC BY-NC-SA 4.0 总体介绍 在人工智能和在线创业不断扩张的世界中&#xff0c;ChatGPT 的出现为寻求利用 AI 推动在线成功的个人和企业开辟了令人兴奋的新途径。本书《如何使用 ChatGPT&#xff1a;…

prompt 工程案例

目录 prompt 工程是什么&#xff1f; 案例 vllm 推理加速框架 prompt 工程是什么&#xff1f; prompt&#xff1a;提示词&#xff0c;也就是我们使用网页版输入给大模型的内容就叫 prompt&#xff0c;那什么是 prompt 工程呢&#xff1f; 简单理解其实就是利用编写的 prom…

数据仓库面试总结

文章目录 1.什么是数据仓库&#xff1f;2.ETL是什么&#xff1f;3.数据仓库和数据库的区别&#xff08;OLTP和OLAP的区别&#xff09;4.数据仓库和数据集市的区别5.维度分析5.1 什么是维度&#xff1f;5.2什么是指标&#xff1f; 6.什么是数仓建模&#xff1f;7.事实表7.维度表…

基于springboot实现社区医院信息平台系统项目【项目源码+论文说明】计算机毕业设计

基于springboot实现社区医院信息平台系统演示 摘要 随着信息技术在管理上越来越深入而广泛的应用&#xff0c;管理信息系统的实施在技术上已逐步成熟。本文介绍了社区医院信息平台的开发全过程。通过分析社区医院信息平台管理的不足&#xff0c;创建了一个计算机管理社区医院信…

gpt国内怎么用?最新版本来了

claude 3 opus面世后&#xff0c;这几天已经有许多应用&#xff0c;而其精确以及从不偷懒&#xff08;截止到2024年3月11日还没有偷懒&#xff09;的个性&#xff0c;也使得我们可以用它来首次完成各种需要多轮对话的尝试。 今天我们想要进行的一项尝试就是—— 如何从一个不知…

《搜广推算法指南》(2024版) 重磅发布!

节前&#xff0c;我们星球组织了一场算法岗技术&面试讨论会&#xff0c;邀请了一些互联网大厂朋友、参加社招和校招面试的同学&#xff0c;针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 结合…

CSS层叠样式表学习(字体属性)

&#xff08;大家好&#xff0c;今天我们将继续来学习CSS字体属性的相关知识&#xff0c;大家可以在评论区进行互动答疑哦~加油&#xff01;&#x1f495;&#xff09; 三、CSS字体属性 CSS Fonts(字体)属性用于定义字体系列、大小&#xff0c;粗细&#xff0c;和文字样式(如斜…

Linux云计算之网络基础8——IPV6和常用网络服务

目录 一、IPV6基础 IPV6详解 IPv6数据报的基本首部 IPv6数据报的扩展首部 IPv6地址的表示方法 IPv6地址分类 网际控制报文协议ICMPv6 二、cisco基于IPV6的配置 cisco基于IPV6的配置步骤 模拟配置 三、HTML基础介绍 文档的结构 动手操作一下 四、常用网络服务介绍…

【Canvas技法】图解绘制圆弧的重要函数 arc(x,y,r,startAngle,endAngle,clockWise)

【一图释疑】 【绘制上图用代码】 <!DOCTYPE html> <html lang"utf-8"> <meta http-equiv"Content-Type" content"text/html; charsetutf-8"/> <head><title>Html5/Canvas中绘制圆弧的重要函数 arc(x,y,r,startA…

[C#]OpenCvSharp实现直方图均衡化全局直方图局部直方图自适应直方图

【什么是直方图均衡化】 直方图均衡化是一种简单而有效的图像处理技术&#xff0c;它旨在改善图像的视觉效果&#xff0c;使图像变得更加清晰和对比度更高。其核心原理是将原始图像的灰度直方图从可能较为集中的某个灰度区间转变为在全部灰度范围内的均匀分布。通过这种方法&a…

【opencv】教程代码 —video(2) optical_flow (稀疏光流、稠密光流)

1. optical_flow.cpp 稀疏光流 #include <iostream> // 引入输入输出流库 #include <opencv2/core.hpp> // 引入OpenCV的核心功能模块 #include <opencv2/highgui.hpp> // 引入OpenCV的高级GUI模块&#xff0c;提供显示图像的功能 #include <opencv2/imgp…

VSCode SSH 连接 Could not establish connection to “XXX“: spawn UNKNOWN.

1. 确认问题&#xff1a; 拉取vscode终端&#xff1a;快捷键 ctrl(数字1旁边那个) 输入&#xff1a;ssh -V 2. 解决方法 2.1 找到本地SSH 位置 默认本地路径&#xff1a; C:\Windows\System32\OpenSSH 2.2 找到要修改的位置 进入 ssh 插件的设置&#xff08;可以通过在插…

基于springboot实现社区医院信息平台系统项目【项目源码+论文说明】

基于springboot实现社区医院信息平台系统演示 摘要 随着信息技术在管理上越来越深入而广泛的应用&#xff0c;管理信息系统的实施在技术上已逐步成熟。本文介绍了社区医院信息平台的开发全过程。通过分析社区医院信息平台管理的不足&#xff0c;创建了一个计算机管理社区医院信…

实现 select 中嵌套 tree 外加搜索

实现 select 中嵌套 tree 外加搜索 参考地址实现地址 代码 <el-form-item label"考核人员" prop"userIdArr" v-if"title 发起考核"><el-popover v-model"popoverVisible" placement"bottom" trigger"cli…

MySQL-单行函数:数值函数、字符串函数、日期和时间函数、流程控制函数、加密与解密函数、MySQL信息函数、其他函数、单行函数练习

1.数值函数 1.1 基本的操作 SELECT ABS(-123),ABS(32),SIGN(-23),SIGN(43),PI(),CEIL(32.32),CEILING(-43.23),FLOOR(32.32), FLOOR(-43.23),MOD(12,5),12 MOD 5,12 % 5 FROM DUAL;1.2 取随机数 SELECT RAND(),RAND(),RAND(10),RAND(10),RAND(-1),RAND(-1) FROM DUAL;1.3 四…

见证历史:Quantinuum与微软取得突破性进展,开启了可靠量子计算的新时代!

Quantinuum与微软的合作取得了重大突破&#xff0c;将可靠量子计算带入了新的时代。他们结合了Quantinuum的System Model H2量子计算机和微软创新的量子比特虚拟化系统&#xff0c;在逻辑量子比特领域取得了800倍于物理电路错误率的突破。这一创新不仅影响深远&#xff0c;加速…

Spring Boot 整合 RabbitMQ 实现延迟消息

关于 RabbitMQ 消息队列&#xff08;Message Queuing&#xff0c;简写为 MQ&#xff09;最初是为了解决金融行业的特定业务需求而产生的。慢慢的&#xff0c;MQ 被应用到了更多的领域&#xff0c;然而商业 MQ 高昂的价格让很多初创公司望而却步&#xff0c;于是 AMQP&#xff0…

点亮创意:ChatGPT如何搭桥DALL-E图像编辑新纪元

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…

金融中的数学知识

随机偏微分方程相比普通偏微分方程具有额外的随机项&#xff0c;反映了其描述的现象具有随机性质