k8s部署presto

（作者：陈玓玏）


一、前提条件

  1. 已部署k8s；
  2. 已部署hadoop和hive，可参考以下链接：
    https://blog.csdn.net/weixin_39750084/article/details/136750613?spm=1001.2014.3001.5502
    https://blog.csdn.net/weixin_39750084/article/details/138585155?spm=1001.2014.3001.5502
    https://blog.csdn.net/weixin_39750084/article/details/138674399?spm=1001.2014.3001.5502

二、镜像拉取或封装

国外镜像源太慢了，直接拉一个现成的镜像吧：docker pull prestodb/presto:0.287，自己打包也可以，自己写个dockerfile。

FROM ubuntu:20.04

RUN wget https://repo.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.tar.gz
RUN wget https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.286/presto-server-0.286.tar.gz

RUN tar -zxvf jdk-8u202-linux-x64.tar.gz -C /opt/ && mv /opt/jdk-8u202-linux-x64 /opt/jdk
RUN tar -zxvf presto-server-0.286.tar.gz -C /opt/ && mv /opt/presto-server-0.286 /opt/presto-server

ENV PRESTO_HOME /opt/presto-server
ENV JAVA_HOME /opt/jdk
ENV PATH $PATH:$JAVA_HOME/bin:$PRESTO_HOME/bin

jdk用的华为的镜像源，不用登录oracle。https://repo.huaweicloud.com/java/jdk/

打包并推送镜像：

docker build -t ccr.ccs.tencentyun.com/cube-studio/presto-server:0.286 .
sudo docker push ccr.ccs.tencentyun.com/cube-studio/presto-server:0.286

三、部署presto

启动脚本和Presto配置文件

apiVersion: v1
kind: ConfigMap
metadata:
  name: presto-config-cm
  labels:
    app: presto-coordinator
data:
  bootstrap.sh: |-
    #!/bin/bash

    cd /root/bootstrap

    mkdir -p $PRESTO_HOME/etc/catalog

    apt-get update
    export JDK_JAVA_OPTIONS="-Djdk.attach.allowAttachSelf=true"
    apt-get install -y less
    export PATH=$PATH:$(whereis less)

    cat ./node.properties > $PRESTO_HOME/etc/node.properties
    cat ./jvm.config > $PRESTO_HOME/etc/jvm.config
    cat ./config.properties > $PRESTO_HOME/etc/config.properties
    cat ./log.properties > $PRESTO_HOME/etc/log.properties

    sed -i 's/${COORDINATOR_NODE}/'$COORDINATOR_NODE'/g' $PRESTO_HOME/etc/config.properties

    for cfg in ../catalog/*; do
      cat $cfg > $PRESTO_HOME/etc/catalog/${cfg##*/}
    done

    $PRESTO_HOME/bin/launcher run --verbose

  node.properties: |-
    node.environment=production
    node.data-dir=/var/presto/data
  jvm.config: |-
    -server
    -Xmx16G
    -XX:+UseG1GC
    -XX:G1HeapRegionSize=32M
    -XX:+UseGCOverheadLimit
    -XX:+ExplicitGCInvokesConcurrent
    -XX:+HeapDumpOnOutOfMemoryError
    -XX:+ExitOnOutOfMemoryError
  config.properties: |-
    coordinator=${COORDINATOR_NODE}
    node-scheduler.include-coordinator=true
    http-server.http.port=8080
    query.max-memory=10GB
    query.max-memory-per-node=1GB
    query.max-total-memory-per-node=2GB
    #discovery-server.enabled=true
    discovery.uri=http://presto-coordinator-service:8080
  log.properties: |-
    com.facebook.presto=INFO

如果部署时出现报错：Can not attach to current VM (try adding ‘-Djdk.attach.allowAttachSelf=true‘ to the JVM），记得在环境变量里加上export JDK_JAVA_OPTIONS="-Djdk.attach.allowAttachSelf=true"

如果出现报错：Configuration property 'discovery-server.enabled' was not used，记得把配置discovery-server.enabled=true注释掉。

配置Hive连接文件

apiVersion: v1
kind: ConfigMap
metadata:
  name: presto-catalog-config-cm
  labels:
    app: presto-coordinator
data:
  hive.properties: |-
    connector.name=hive-hadoop2
    hive.metastore.uri=thrift://hive-service:9083

部署presto

apiVersion: apps/v1
kind: Deployment
metadata:
  name: presto-coordinator
spec:
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: presto-coordinator
  template:
    metadata:
      labels:
        app: presto-coordinator
    spec:
      containers:
        - name: presto-coordinator
          image: prestodb/presto:0.287
          command: ["bash", "-c", "bash /root/bootstrap/bootstrap.sh"]
          ports:
            - name: http-coord
              containerPort: 8080
              protocol: TCP
          env:
            - name: COORDINATOR_NODE
              value: "true"
          volumeMounts:
            - name: presto-config-volume
              mountPath: /root/bootstrap
            - name: presto-catalog-config-volume
              mountPath: /root/catalog
            - name: presto-data-volume
              mountPath: /var/presto/data
          readinessProbe:
            initialDelaySeconds: 60
            periodSeconds: 5
            httpGet:
              path: /v1/status
              port: http-coord
      volumes:
        - name: presto-config-volume
          configMap:
            name: presto-config-cm
        - name: presto-catalog-config-volume
          configMap:
            name: presto-catalog-config-cm
        - name: presto-data-volume
          emptyDir: {}
---
kind: Service
apiVersion: v1
metadata:
  labels:
    app: presto-coordinator
  name: presto-coordinator-service
spec:
  ports:
    - port: 8080
      targetPort: http-coord
      name: http-coord
  selector:
    app: presto-coordinator
  type: NodePort
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: presto-worker
spec:
  replicas: 2
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: presto-worker
  template:
    metadata:
      labels:
        app: presto-worker
    spec:
      initContainers:
        - name: wait-coordinator
          image:  prestodb/presto:0.287
          command: ["bash", "-c", "until curl -sf http://presto-coordinator-service:8080/ui/; do echo 'waiting for coordinator started...'; sleep 2; done;"]
      containers:
        - name: presto-worker
          image: prestodb/presto:0.287
          command: ["bash", "-c", "bash /root/bootstrap/bootstrap.sh"]
          ports:
            - name: http-coord
              containerPort: 8080
              protocol: TCP
          env:
            - name: COORDINATOR_NODE
              value: "false"
          volumeMounts:
            - name: presto-config-volume
              mountPath: /root/bootstrap
            - name: presto-catalog-config-volume
              mountPath: /root/catalog
            - name: presto-data-volume
              mountPath: /var/presto/data
          readinessProbe:
            initialDelaySeconds: 60
            periodSeconds: 5
            httpGet:
              path: /v1/status
              port: http-coord
      volumes:
        - name: presto-config-volume
          configMap:
            name: presto-config-cm
        - name: presto-catalog-config-volume
          configMap:
            name: presto-catalog-config-cm
        - name: presto-data-volume
          emptyDir: {}

部署结束后，会起3个pod，一个服务：
在这里插入图片描述
在这里插入图片描述

四、使用presto

访问web界面
在这里插入图片描述
安装及连接客户端：

wget https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.208/presto-cli-0.208-executable.jar
chmod +x presto-cli-0.208-executable.jar
./presto-cli-0.208-executable.jar --server 192.168.3.100:34082 --catalog hive --schema default

使用客户端：

show schemas;
show tables;
select * from test;

在这里插入图片描述
我部署后能正确查询信息，但是总是有报错：ERROR: failed to open pager: Cannot run program "less": error=2, No such file or directory，这个报错的原因是没有装less，是presto用来分页的工具，在初始化脚本里已添加了，加上之后就没问题了。由初始化脚本中的以下代码解决：

apt-get update
apt-get install -y less
export PATH=$PATH:$(whereis less)

BUG全部解决后，使用如下：
在这里插入图片描述
虽然能正常使用presto了，但是k8s中显示presto-worker的deployment有BUG，Readiness probe failed:，应该是健康检查出了问题。
在这里插入图片描述
这个问题的解决，有两步：1. 把readinessProbe的initialDelaySeconds时间延长些；2.注意httpget写的path要正确，不知道怎么是正确的，可以用helm生成一个yaml，对比看看。我的正确配置后，如下：

  readinessProbe:
    initialDelaySeconds: 60
    periodSeconds: 5
    httpGet:
      path: /v1/status
      port: http-coord

注意port和yaml里设置的保持一致。
至此，部署都没问题了。
在这里插入图片描述

参考链接：

https://blog.csdn.net/chenleiking/article/details/82493798

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/647840.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【Linux-时间管理和内核定时器】

【Linux-时间管理和内核定时器】

Linux-时间管理和内核定时器 ■ 设置系统节拍率■ 高节拍率和低节拍率的优缺点：■ jiffies 系统节拍数■ get_jiffies_64 这个函数可以获取 jiffies_64 的值■ 处理绕回■ 使用 jiffies 判断超时 ■ jiffies 和 ms、 us、 ns 之间的转换函数在这里插入代码片■ 内核…
阅读更多...
Python语言基础学习（下）

Python语言基础学习（下）

目录 一、顺序语句 二、条件语句 (1) if (2) if - else (3) if - elif - else 缩进和代码块 空语句 pass 三、循环语句 while 循环 for 循环 continue break 四、函数 创建函数 调用函数 函数返回 函数变量 函数递归 关键字参数 五、列表和元组 创建列表 …
阅读更多...
CNCAP2024主动安全解析

CNCAP2024主动安全解析

一、新增场景 车辆自动紧急制动系统（AEB C2C）在 2021 版基础上新增了叉路口场景、高速公路追尾场景和 AEB 误作用场景；VRU 自动紧急制动（AEB VRU）试验在 2021 版基础上新增了交叉路口场景，同时对已有场景进…
阅读更多...
你真的了解HTTPS协议吗

你真的了解HTTPS协议吗

前言 在 HTTP 协议中有可能存在信息窃听或身份伪装等安全问题。使用 HTTPS 通信机制可以有效地防止这些问题。本文即将带大家来了解这些。 任何事物都有两面性，为了满足HTTP协议的快，但导致了它有如下的不足： 通信采用明文（不加…
阅读更多...
IDEA 2024.1安装与破解

IDEA 2024.1安装与破解

一、下载 官网地址：https://www.jetbrains.com/idea/download/other.html 二、安装 傻瓜式安装即可 三、破解 3.1 破解程序 网站：https://3.jetbra.in/ 3.2 获取激活码 点击*号部分即可复制成功
阅读更多...
深入解析RPC技术：原理、实现与应用

深入解析RPC技术：原理、实现与应用

RPC（Remote Procedure Call，远程过程调用）是一种计算机通信协议，允许一个程序（客户端）在本地调用另一个程序（服务器）中的函数或方法，并获取返回结果，就像调用…
阅读更多...
Dubbo生态之sentinel限流

Dubbo生态之sentinel限流

1. 限流算法 我们知道，在分布式架构中，当服务请求量过大时，容易对服务器造成不可预知的压力，因此，我们在客户端请求的时候，进行限流，起到一个保护的作用 常见的限流算法有: 计数器限流&#x…
阅读更多...
猫头虎 解析：为什么AIGC在国内适合做TOB，在国外适合做TOC？

猫头虎 解析：为什么AIGC在国内适合做TOB，在国外适合做TOC？

猫头虎 解析：为什么AIGC在国内适合做TOB，在国外适合做TOC？ 博主 猫头虎 的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能！ 专栏链接： 🔗 精选专栏： 《面试题大全》 — 面…
阅读更多...
Golang | Leetcode Golang题解之第114题二叉树展开为链表

Golang | Leetcode Golang题解之第114题二叉树展开为链表

题目： 题解： func flatten(root *TreeNode) {curr : rootfor curr ! nil {if curr.Left ! nil {next : curr.Leftpredecessor : nextfor predecessor.Right ! nil {predecessor predecessor.Right}predecessor.Right curr.Rightcurr.Left, curr.Righ…
阅读更多...
python数据分析——apply 1

python数据分析——apply 1

参考资料：活用pandas库 apply是指把函数同时作用于DataFrame的每一行或每一列。类似于编写一些跨每行或每列的for循环，并同时调用apply函数。 1、函数 函数是对python代码进行分组和复用的一种方法。如果某段代码会被多次使用，并且使用时是需…
阅读更多...
【C++】——入门基础知识超详解

【C++】——入门基础知识超详解

目录 ​编辑 1.C关键字 2. 命名空间 2.1 命名空间定义 2.2 命名空间使用 命名空间的使用有三种方式： 注意事项 3. C输入&输出 示例 1：基本输入输出 示例 2：读取多个值 示例 3：处理字符串输入 示例 4：读…
阅读更多...
部署PIM-SM

部署PIM-SM

拓扑图 配置 使能组播路由 配置OSPF 组播路由器接口配置pim-sm 连接组成员的接口使能igmp pim路由器上配置静态RP sysname AR1 # multicast routing-enable # interface GigabitEthernet0/0/0ip address 10.1.12.1 255.255.255.0 pim sm # interface GigabitEthernet0/0/…
阅读更多...
SpringBoot + MybatisPlus

SpringBoot + MybatisPlus

SpringBoot MybatisPlus 整合记录 1. 硬件软件基本信息2. 相关链接3. 通过idea快速生成一个Springboot项目4. 启动报错问题解决问题一：Springboot启动的时候报错提示 “没有符合条件的Bean关于Mapper类型”问题二：启动的时候提示需要一个Bean&#xff0…
阅读更多...
文件操作知识点

文件操作知识点

前言: 我们应该知道一般程序运行时产生的数据是存放在内存中的。但是如果程序关闭后这些内存就会被系统回收，如果内存内的有用的数据没有被保存下来，这些数据就丢失了。所以这个时候我们就可以使用磁盘来储存我们的数据。 目录 程序文件的分类 文件名…
阅读更多...
第八篇【传奇开心果系列】Python微项目技术点案例示例:以微项目开发为案例，深度解读Dearpygui 编写图形化界面桌面程序的优势

第八篇【传奇开心果系列】Python微项目技术点案例示例:以微项目开发为案例，深度解读Dearpygui 编写图形化界面桌面程序的优势

传奇开心果博文系列 系列博文目录Python微项目技术点案例示例系列 博文目录前言一、开发图形化界面桌面程序的优势介绍二、跨平台特性示例代码和解析三、高性能特性示例代码和解析四、简单易用特性示例代码和解析五、扩展性强示例代码和解析六、现代化设计示例代码和解析七、知…
阅读更多...
Android 快速调试网络 复制curl 到postMan

Android 快速调试网络 复制curl 到postMan

搜索这个插件 官网地址：https://github.com/itkacher/OkHttpProfiler 集成教程也在里面集成完毕后右下角有一个入口点进去可以复制curl| 插件名称：Okhttp Profiler 真的很好用！
阅读更多...
软测刷题-错题1

软测刷题-错题1

提高测试效率的方法： 1、不要做无效的测试 2.不要做重复的测试 3.不同测试版本的测试侧重点 4.优化测试顺序 LoadRunner是对服务器进行施压。 在数据库中存在的用户数是指注册用户数。 input标签可以直接使用send_keys实现上传，而非input标签是无法直…
阅读更多...
指纹识别系统架构

指纹识别系统架构

目录 1. 系统架构 1.1 指纹采集模块 1.2 指纹处理模块 1.3 指纹登记模块 1.4 指纹识别模块 1.5 指纹识别决策模块 1.6 管理模块 1.6.1 存储管理 1.6.2 传输管理 1.6.3 安全管理 1.7 应用开放功能 1.7.1 指纹登记功能 1.7.2 指纹验证功能 1.7.3 指纹辨识功能 2. …
阅读更多...
SparkStreaming架构原理（详解）

SparkStreaming架构原理（详解）

Spark概述 SparkStreaming架构原理 Spark Streaming的架构主要由以下几个关键部分组成。 1.数据源接收器（Receiver） 执行流程开始于数据源接收阶段，其中接收器（Receiver）负责从外部数据源获取数据流。 接收器可以连…
阅读更多...
Android Studio开发之路（十四）自定义Titlebar以及设置顶部状态栏颜色

Android Studio开发之路（十四）自定义Titlebar以及设置顶部状态栏颜色

一、描述 项目需求，我要做一个下图这样的titlebar,包括一个返回按钮，一个关闭按钮，一个文本框。默认的titlebar按钮设计不太满足我的需求，于是我打算自定义一个titlebar组件，应用到我的每一个页面 二、titlebar组件设…
阅读更多...
最新文章

Copyright @ 2022~2023