Azkaban部署

首先我们需要现在相关的组件,在这里已经给大家准备好了相关的安装包,有需要的可以自行下载。

只需要启动hadoop集群就可以,如果现在你的hive是打开的,那么请你关闭!!!

如果不关会造成证书冲突,会启动失败,会让你痛不欲生,痛心疾首

如果没有特别说明,这些操作都是在hadoop03上进行

这里放一个下载连接!!!

----------------------------------------

通过网盘分享的文件:ak.zip
链接: https://pan.baidu.com/s/1E4J9k8LClPj7XuYZWSdNJA 提取码: 4bfp 
--来自百度网盘超级会员v4的分享

--------------------------------------------------

首先我们创建一个文件夹

mkdir -p /export/servers/azkaban

创建完成之后,我们切换到software目录下。

cd /export/software

输入rz上传我们之前上传过的那几个安装包。

首先我们选择安装包里的·relational database安装包,也就是azkaban-db-0.1.0-SNAPSHOT.tar.gz,这个安装包。

上传完成之后,对安装包进行一个解压缩。

tar -zxvf /export/software/azkaban-db-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban

这个安装完成之后,我们再进rz

行下一个文件的上传与安装,

rz上传azkaban-web-server-0.1.0-SNAPSHOT.tar.gz这个压缩包。

Azkaban web server,同样是上传到software目录。

上传完成之后,我们同样解压缩到akzaban文件夹。

tar -zxvf /export/software/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban

等待这个压缩包解压缩完成之后,我们就可以进行下一个压缩包的上传和安装了,还是老规矩,依旧是software文件夹。

输入rz上传azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz压缩文件。

tar -zxvf /export/software/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C /export/servers/azkaban

那么的,在所有的文件都解压缩完成之后,我们就能换到servers目录下的akzaban目录了。

cd /export/servers/azkaban

切换完成之后,我们需要对我们加压缩的三个文件夹进行重命名,方便后期管理。

那么首先,

mv azkaban-db-0.1.0-SNAPSHOT azkaban-db

下一个

mv azkaban-web-server-0.1.0-SNAPSHOT azkaban-web

最后一个

mv azkaban-exec-server-0.1.0-SNAPSHOT  azkaban-exec

好的,所有的文件都重命名完成之后,我们就需要切换到,mysql数据库里了。

配置Relational Database

没有连接数据库的·给自己两巴掌,然后去

Hive的部署,远程模式搭建,centos换源,linux上下载mysql。_hive-4.0.1-CSDN博客

这个地方,只看下载mysql的就可以

那么输入

mysql -uroot -p+密码

这个地方大家输入自己的密码就可以。

不会安装数据库或者没有安装成功的

可以去博主的另一篇文章里找一下,这里会给大家放一个链接。

进入数据库成功之后,我们需要创建一个属于azkaban的数据库

create database azkaban;

创建完成之后,我们需要初始化一下这个数据库。

接下来输入

use azkaban;

选择成功后,输入下面的命令

source /export//servers/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql;

初始化完成之后,输入

show tables;

就可以查看一些关于azkaban的多个表。

看完之后,就可以exit;

退出了

配置azkaban web server

切换到azkaban的web那个文件的目录下。

cd /export/servers/azkaban/azkaban-web/conf

输入

vi azkaban.properties

进入之后,将 配置里的参数修改为,

dafult.timezone.id=

Asia/Shanghai

将mysql。password修改成,作者的密码是这个,大家的根据自己的实际情况填写。

Itcast@2023

将mysql.user

root

,这个地方修改完成之后,还需要修改一下azkaban.executorselector.filters的值进行修改。

StaticRemainingFlowSize,CpuStatus

全部的修改完成之后就可以开心的保存退出了。

配置Azkaban Executor Server

和配置db差不多,同样要先进入到

cd /export/servers/azkaban/azkaban-exec/conf

之后输入

vi azkaban.properties

进入之后,将 配置里的参数修改为,

dafult.timezone.id=

Asia/Shanghai

将mysql。password修改成,作者的密码是这个,大家的根据自己的实际情况填写。

Itcast@2023

将mysql.user

root

完成之后需要再自己添加一个参数

executor.port=12321

在这个地方完成之后,大家切换到自己的lib目录

cd /export/servers/azkaban/azkaban-exec/lib

然后找到自己的mysql那个东西,删除掉

rm -rf mysql-connector-java-5.1.28.jar

删除掉之后,重新上传一个mysql的关联jar包。

在前面的资料里给出了。

然后,切换到web的lib

cd /export/servers/azkaban/azkaban-web/lib

切换完成后,我们还是删除mysql包、

rm -rf mysql-connector-java-5.1.28.jar

之后,上传jar包。和上面那个上传的一样就ok。

那么好,我们再切换到conf目录下。

修改一下命令

log4j.appender.server.File=/export/data/logs/azkaban-execserver.log

启动azkaban

在上面的配置完成之后,我们就需要进行下一步,

cd /export/servers/azkaban/azkaban-exec

之后使用脚本启动

bin/start-exec.sh

启动完成之后,使用jps命令,查看azkaban是都启动成功

如果需要停止服务,请输入。

bin/shutdown-exec.sh

,看完之后,我们输入ll。

来查看一下exec目录下面的命令。

这里需要注意的事情是!不可以切换到bin目录下再一键脚本启动,会造成azkaban启动的时候无法获取conf目录下配置文件的问题。

下一步,我们就可以开始激活azkaban exeexutor server

curl -G "localhost:12321/executor?action=activate" && echo;

切换到web的目录

cd /export/servers/azkaban/azkaban-web

输入

bin/start-web.sh

命令执行成功之后,输入jps,来查看一下执行的命令,

看完之后,输入ll,查看一下是否有out文件出现。

下面ll

!!!

就是!

激动人心的!访问azkaban web用户界面!

那么请打开你的浏览器

输入

hadoop03:8081

在username上输入:(有的也可能是大写的A,两个都试试)

azkaban

password

azkaban

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/922769.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

目标检测模型优化与部署

目录 引言数据增强 随机裁剪随机翻转颜色抖动 模型微调 加载预训练模型修改分类器训练模型 损失函数 分类损失回归损失 优化器算法思路 RPN (Region Proposal Network)Fast R-CNN损失函数 部署与应用 使用 Flask 部署使用 Docker 容器化 参考资料 引言 目标检测是计算机视觉…

Charles抓包工具-笔记

摘要 概念: Charles是一款基于 HTTP 协议的代理服务器,通过成为电脑或者浏览器的代理,然后截取请求和请求结果来达到分析抓包的目的。 功能: Charles 是一个功能全面的抓包工具,适用于各种网络调试和优化场景。 它…

java: itext8.05 create pdf

只能调用windows 已安装的字体,这样可以在系统中先预装字体,5.0 可以调用自配文件夹的字体文件。CSharp donetItext8.0 可以调用。 /*** encoding: utf-8* 版权所有 2024 ©涂聚文有限公司 言語成了邀功盡責的功臣,還需要行爲每日來值班…

Kafka 生产者优化与数据处理经验

Kafka:分布式消息系统的核心原理与安装部署-CSDN博客 自定义 Kafka 脚本 kf-use.sh 的解析与功能与应用示例-CSDN博客 Kafka 生产者全面解析:从基础原理到高级实践-CSDN博客 Kafka 生产者优化与数据处理经验-CSDN博客 Kafka 工作流程解析&#xff1a…

C高级学习笔记

……接上文 硬链接和软连接(符号链接) 硬链接 硬链接文件可以理解为文件的副本(可以理解为复制粘贴) ln 根据Linux系统分配给文件的inode(ls -li)号进行建立,没有办法跨越文件系统 格式:ln 被链接的文件&am…

Java基于SpringBoot+Vue的藏区特产销售平台

博主介绍:✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇…

vim 分割窗口后,把状态栏给隐藏

一、基本环境 主机MacOs Sonoma 14.7主机终端Iterm2虚拟机Parallels Desktop 20 for Mac Pro Edition 版本 20.0.1 (55659)虚拟机-操作系统Ubuntu 22.04 最小安装 二、分割窗口后的截图,红色线条部分就是状态栏 分割后个布局是:顶部1行高度窗口&#x…

【数据结构】【线性表】栈的基本概念(附c语言源码)

栈的基本概念 讲基本概念还是回到数据结构的三要素:逻辑结构,物理结构和数据运算。 从逻辑结构来讲,栈的各个数据元素之间是通过是一对一的线性连接,因此栈也是属于线性表的一种从物理结构来说,栈可以是顺序存储和顺…

OpenOCD之J-Link下载

1.下载USB Dirver Tool.exe,选择J-Link dirver,替换成WinUSB驱动。(⭐USB Dirver Tool工具可将J-Link从WinUSB驱动恢复为默认驱动⭐) 下载方式 ①官方网址:https://visualgdb.com/UsbDriverTool/ ②笔者的CSDN链接&…

【JavaEE初阶 — 多线程】定时器的应用及模拟实现

目录 1. 标准库中的定时器 1.1 Timer 的定义 1.2 Timer 的原理 1.3 Timer 的使用 1.4 Timer 的弊端 1.5 ScheduledExecutorService 2. 模拟实现定时器 2.1 实现定时器的步骤 2.1.1 定义类描述任务 定义类描述任务 第一种定义方法 …

ssm168基于jsp的实验室考勤管理系统网页的设计与实现+jsp(论文+源码)_kaic

毕 业 设 计(论 文) 题目:实验室考勤管理系统设计与实现 摘 要 现代经济快节奏发展以及不断完善升级的信息化技术,让传统数据信息的管理升级为软件存储,归纳,集中处理数据信息的管理方式。本实验室考勤管…

原生微信小程序在顶部胶囊左侧水平设置自定义导航兼容各种手机模型

无论是在什么手机机型下,自定义的导航都和右侧的胶囊水平一条线上。如图下 以上图iphone12,13PRo 以上图是没有带黑色扇帘的机型 以下是调试器看的wxml的代码展示 注意:红色阔里的是自定义导航(或者其他的logo啊,返回之…

Python 获取微博用户信息及作品(完整版)

在当今的社交媒体时代,微博作为一个热门的社交平台,蕴含着海量的用户信息和丰富多样的内容。今天,我将带大家深入了解一段 Python 代码,它能够帮助我们获取微博用户的基本信息以及下载其微博中的相关素材,比如图片等。…

springcloud alibaba之shcedulerx实现分布式锁

文章目录 1、shcedulerx简介2、基于mysq分布式锁实现3、注解方式使用分布式锁4、编码方式使用分布式锁 1、shcedulerx简介 springcloud alibaba shcedulerx看起来有点像xxl job那样的任务调度中间件,其实它是一个分布式锁框架,含有两种实现一种基于DB实…

【LLM训练系列02】如何找到一个大模型Lora的target_modules

方法1:观察attention中的线性层 import numpy as np import pandas as pd from peft import PeftModel import torch import torch.nn.functional as F from torch import Tensor from transformers import AutoTokenizer, AutoModel, BitsAndBytesConfig from typ…

Selenium的八种定位方式

1. 通过 ID 定位 ID 是最直接和高效的方式来定位元素,因为每个页面中的 ID 应该是唯一的。 from selenium import webdriverdriver webdriver.Chrome(executable_pathpath/to/chromedriver) driver.get(https://example.com)# 通过 ID 定位 element driver.find…

MySQL底层概述—1.InnoDB内存结构

大纲 1.InnoDB引擎架构 2.Buffer Pool 3.Page管理机制之Page页分类 4.Page管理机制之Page页管理 5.Change Buffer 6.Log Buffer 1.InnoDB引擎架构 (1)InnoDB引擎架构图 (2)InnoDB内存结构 (1)InnoDB引擎架构图 下面是InnoDB引擎架构图,主要分为内存结构和磁…

丹摩|丹摩智算平台深度评测

1. 丹摩智算平台介绍 随着人工智能和大数据技术的快速发展,越来越多的智能计算平台涌现,为科研工作者和开发者提供高性能计算资源。丹摩智算平台作为其中的一员,定位于智能计算服务的提供者,支持从数据处理到模型训练的全流程操作…

基于企业微信客户端设计一个文件下载与预览系统

在企业内部沟通与协作中,文件分享和管理是不可或缺的一部分。企业微信(WeCom)作为一款广泛应用于企业的沟通工具,提供了丰富的API接口和功能,帮助企业进行高效的团队协作。然而,随着文件交换和协作的日益增…

LLM的原理理解6-10:6、前馈步骤7、使用向量运算进行前馈网络的推理8、注意力层和前馈层有不同的功能9、语言模型的训练方式10、GPT-3的惊人性能

目录 LLM的原理理解6-10: 6、前馈步骤 7、使用向量运算进行前馈网络的推理 8、注意力层和前馈层有不同的功能 注意力:特征提取 前馈层:数据库 9、语言模型的训练方式 10、GPT-3的惊人性能 一个原因是规模 大模型GPT-1。它使用了768维的词向量,共有12层,总共有1.…