高效率:使用DBeaver连接spark-sql

提高运行效率一般采取底层使用spark引擎替换成hive引擎的方式提高效率,但替换引擎配置较为复杂考虑到兼容版本且容易出错,所以本篇将介绍使用DBeaver直接连接spark-sql快速操作hive数据库。

在spark目录下运行以下命令,创建一个SparkThirdService端口号为10016

sudo -u root ./sbin/start-thriftserver.sh \
--hiveconf hive.server2.thrift.port=自定义端口号 \
--hiveconf hive.server2.thrift.bind.host=主机ip地址 \
--hiveconf spark.sql.warehouse.dir=hdfs://主机IP地址:hadoop端口/hive在hdfs下的路径目录
--master yarn \
--executor-memory 4G \
--conf spark.sql.shuffle.partitions=10

   主机地址和端口自己按照自己的环境需要更改

 每次重启后运行启动都要执行,可自己编写为sh文件执行

在/home下创建一个client-saprk-sql

vi /home/client-saprk-sql

 将启动SparkThirdService内容写入到文件中:

        这里写了该文件的绝对路径

sudo -u root /opt/module/spark/sbin/start-thriftserver.sh \
--hiveconf hive.server2.thrift.port=10016 \
--hiveconf hive.server2.thrift.bind.host=192.168.10.137 \
--hiveconf spark.sql.warehouse.dir=hdfs://192.168.10.137:9000/user/hive/warehouse \
--master yarn \
--executor-memory 4G \
--conf spark.sql.shuffle.partitions=10

执行: 

sh /home/client-saprk-sql

编辑连接:

 测试连接成功

建个表插入数据测试一下:

CREATE TABLE test_table (
    id STRING,
    name STRING
);
INSERT INTO test_table VALUES ('1', 'John');
INSERT INTO test_table VALUES ('2', 'Jane');

使用spark-sql方式操作hive插入速度非常快 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/225777.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

免费通配符和免费多域名证书

免费通配符证书,其特点在于能够为一个主域名及其所有子域名提供加密保护。通常,通配符证书的主域名会以通配符(*)表示,比如*.example.com,这样就覆盖了blog.example.com、api.example.com等所有子域名。 免…

【高数:1 映射与函数】

【高数:1 映射与函数】 例2.1 绝对值函数例2.2 符号函数例2.3 反函数表示例2.4 双曲正弦sinh,双曲余弦cosh,双曲正切tanh 参考书籍:毕文斌, 毛悦悦. Python漫游数学王国[M]. 北京:清华大学出版社,2022. 例2…

【SQL开发实战技巧】系列(四十九):Oracle12C常用新特性☞表分区部分索引(Partial Indexes)

系列文章目录 【SQL开发实战技巧】系列(一):关于SQL不得不说的那些事 【SQL开发实战技巧】系列(二):简单单表查询 【SQL开发实战技巧】系列(三):SQL排序的那些事 【SQL开发实战技巧…

【c】杨辉三角

下面介绍两种方法 1.利用上面性质的第五条&#xff0c;我们可以求各行各列的组合数 2.利用上面性质的第7条&#xff0c;我们可以用数组完成 下面附上代码 1. #include<stdio.h> void fact(int n ,int m )//求组合数 {long long int sum11;long long int sum21;int a…

玩转大数据10:深度学习与神经网络在大数据中的应用

目录 1. 引言&#xff1a;深度学习和神经网络在大数据中的重要性和应用场景 2. 深度学习的基本概念和架构 3. Java中的深度学习框架 3.1. Deeplearning4j框架介绍及Java编程模型 3.2. DL4J、Keras和TensorFlow的集成 4. 大数据与深度学习的结合 4.1. 大数据与深度学…

快递批量查询高手:物流效率提升的秘密武器

在当今这个数字化时代&#xff0c;物流行业的发展迅速&#xff0c;快递公司如雨后春笋般涌现。随之而来的是物流查询的困扰。如何快速、准确地查询大量快递单号&#xff0c;提高物流效率&#xff0c;成为了物流行业亟待解决的问题。而此时&#xff0c;一款名为《快递批量查询高…

Linux下查看端口占用

第一种&#xff1a;通过命令查看 1.netstat -ntulp&#xff1a;查看所有的被占用的端口 在列表中最后一列就列出了&#xff0c;某个端口被占用的进程 其中&#xff1a; -t : 指明显示TCP端口 -u : 指明显示UDP端口 -l : 仅显示监听套接字(所谓套接字就是使应用程序能够读写与收…

RabbitMQ(一)概述

1 RabbitMQ 概念 RabbitMQ 是一个消息中间件&#xff1a;它接受并转发消息。你可以把它当做一个快递站点&#xff0c;当你要发送一个包裹时&#xff0c;你把你的包裹放到快递站&#xff0c;快递员最终会把你的快递送到收件人那里&#xff0c;按照这种逻辑 RabbitMQ 是一个快递站…

柏睿网络分析:为什么微模块化机房越来越受欢迎?

与传统机房相比&#xff0c;微模块化机房的建设周期更短&#xff0c;扩展性更强&#xff0c;能耗更低&#xff0c;运维难度也相对较低。因此&#xff0c;微模块化机房是一种高效、灵活、节能的机房解决方案&#xff0c;适用于各种规模的数据中心。 一体化分布式部署&#xff1a…

VIR-SLAM代码分析3——VIR_VINS详解之estimator.cpp/.h

前言 续接上一篇&#xff0c;本本篇接着介绍VIR-SLAM中estimator.cpp/.h文件的函数&#xff0c;尤其是和UWB相关的相比于VINS改动过的函数&#xff0c;仍然以具体功能情况代码注释的形式进行介绍。 重点函数介绍 优化函数&#xff0c;代码是先优化&#xff0c;后边缘化。 …

生成模型之Flow-Based model

Flow-Based Model 文章目录 Flow-Based Model简介总览数学基础jacobian matrixdeterminant行列式Change of variable theorem 架构常见几种方法coupling layer采用1*1卷积进行channel shuffle 简介 ​ Flow-Based对概率密度函数的直接建模&#xff0c;这使得它们在数据生成和推…

AI交互数字人如何创新文旅景区新体验?

在数实融合技术推动以及国家文化数字化战略的深入实施&#xff0c;文旅产业逐渐融入AI交互数字人技术&#xff0c;通过在文旅景区布局AI交互数字人&#xff0c;以此为数字文旅带来了更多活力和可能。 *图片源于网络 如江西南昌滕王阁基于南昌市提升旅游城市地位并扩大影响的需求…

Leo赠书活动-12期 【Java程序员,你掌握了多线程吗?】文末送书

Leo赠书活动-12期 【Java程序员&#xff0c;你掌握了多线程吗&#xff1f;】文末送书 ✅作者简介&#xff1a;大家好&#xff0c;我是Leo&#xff0c;热爱Java后端开发者&#xff0c;一个想要与大家共同进步的男人&#x1f609;&#x1f609; &#x1f34e;个人主页&#xff1…

Java 聊天

TCP&#xff08;一对一&#xff09;聊天 import java.io.*; import java.net.Socket; import java.util.Date; import javax.swing.*;public class c {private JFrame jf;private JButton jBsend;private JTextArea jTAcontent;private JTextField jText;private JLabel JLco…

基于jsp+servlet的图书管理系统

基于jspservlet的图书管理系统演示地址为 图书馆后台管理系统 用户名:mr ,密码:123 图书馆管理系统主要的目的是实现图书馆的信息化管理。图书馆的主要业务就是新书的借阅和归还&#xff0c; 因此系统最核心的功能便是实现图书的借阅和归还。此外&#xff0c;还需要提供图书…

如何选择适合跨境业务的客服系统?

随着全球化的发展&#xff0c;越来越多的企业开始涉足跨境业务。而跨境业务的成功与否很大程度上取决于客服系统的选择。一个适合跨境业务的客服系统可以帮助企业提供高质量的客户服务&#xff0c;提升客户满意度&#xff0c;促进业务增长。本文将介绍如何选择适合跨境业务的客…

运维05:自动化

人工运维时代 运维人员早期需要维护众多的机器&#xff0c;因此需要执行很多重复的劳动&#xff0c;很多机器需要同时部署相同的服务或者是执行相同的命令&#xff0c;还得反复地登录不同的机器&#xff0c;执行重复的动作 自动化运维时代 早期运维人员会结合ssh免密登录&…

el-tooltip (element-plus)修改长度

初始状态&#xff1a; 修改后&#xff1a; 就是添加 :teleported"false"&#xff0c;问题解决&#xff01;&#xff01;&#xff01; <el-tooltipeffect"dark"content"要求密码长度为9-30位&#xff0c;需包含大小写字母、数字两种或以上与特殊字…

codeforces 题目 Line Empire

目录 题目&#xff1a; 题目描述&#xff1a; 思路&#xff1a; 分析&#xff1a; 结论&#xff1a; AC代码&#xff1a; 题目&#xff1a; 题目描述&#xff1a; 对于每个案例&#xff0c;先给你三个整数&#xff08;n&#xff0c;a&#xff0c;b&#xff09;&#xff…

项目分析:解决类的复杂设计中遇到的问题

1.问题1&#xff1a;析构函数乱码问题 【样例输入】 -3 1 3 -1 -3 2 3 -2 【样例输出】 gouzao 1 -3 1 3 -1 gouzao 2 -3 2 3 -2 -3 1 3 -1 -3 2 3 -2 9.4245 18.849 Ellipse xigou 3 -2 Point xigou 3 -2 Point xigou -3 2 Point xigou 3 -2 Point xigou -3 2…