【大数据基础平台】星环TDH社区开发版单机部署

🍁 博主 "开着拖拉机回家"带您 Go to New World.✨🍁

🦄 个人主页——🎐开着拖拉机回家_大数据运维-CSDN博客 🎐✨🍁

🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁

感谢点赞和关注 ,每天进步一点点!加油!

目录

🍁 博主 "开着拖拉机回家"带您 Go to New World.✨🍁

一、概述

二、安装TDH-CE-DEV

2.1 环境准备

2.2 安装TDH社区开发版

2.3 自助申请许可证

三、基本配置

3.1 开启安全

3.2 Hyperbase设置

3.3 安装TDH客户端

3.4 集群外使用hadoop client

3.4.1 使用zookeeper-client

3.4.2 使用hadoop/hdfs

3.4.3 使用hbase shell


一、概述


TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨创新,已帮助数千家行业客户利用大数据平台构建核心商业系统,加速商业创新。为了让大数据技术得到更广泛的使用与应用从而创造更高的价值,依托于TDH强大的技术底座,星环科技推出TDH社区版(Transwarp Data Hub Community Edition)版本,致力于为企业用户、高校师生、科研机构以及其他专业开发人员提供更轻量、更简单、更易用的数据分析开发环境,轻松应对各类人员数据分析需求。

社区版官网:TDH社区版-TDH Community Edition-星环科技


二、安装TDH-CE-DEV


2.1 环境准备


主机名和映射配置

cat  /etc/hosts
192.168.2.117 devops

 hostnamectl set-hostname devops

关闭防火墙或者配置端口

systemctl stop  firewalld.service
systemctl disable  firewalld.service

安装docker ,需有网且配置好 repo 源,或者离线安装

yum install docker
systemctl start docker.service
systemctl status docker.service
systemctl enable docker.service

docker 启动完成

2.2 安装TDH社区开发版


官网地址:TDH社区版-TDH Community Edition-星环科技

下载的单机安装包:TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz

解压并且加载镜像

[root@tdh-node01 yum.repos.d]# cd /opt/
[root@tdh-node01 opt]# ll
total 12045828
drwx--x--x. 4 root root       4096 Oct 24 11:14 containerd
-rw-------. 1 root root 7104777216 Jun  7 21:31 tdh-standalone-2023.5.tar
-rw-r--r--. 1 root root 5230133572 Oct 24 09:32 TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz
[root@tdh-node01 opt]#
[root@tdh-node01 opt]#
[root@tdh-node01 opt]#
[root@tdh-node01 opt]# docker load  -i  tdh-standalone-2023.5.tar
74ddd0ec08fa: Loading layer [==================================================>]  238.6MB/238.6MB
e74f7e968b61: Loading layer [==================================================>]  6.866GB/6.866GB
Loaded image: tdh-standalone:2023.5
[root@tdh-node01 opt]#
[root@tdh-node01 opt]# docker images
REPOSITORY       TAG       IMAGE ID       CREATED        SIZE
tdh-standalone   2023.5    296d67572acb   4 months ago   7.08GB

镜像加载完成

执行下方指令启动容器并运行镜像

docker run -d --network host -v /home/tdh:/opt/transwarp --privileged tdh-standalone:2023.5
docker ps -a 
docker logs -f  xxx

容器启动后需等待30s至2分钟

浏览器访问管理节点8180端口, 默认用户名和密码都是admin

接受

集群名称

默认的单节点主机信息

确认 下一步

安全组件密码设置

服务总览

下一步确定 安装

安装中

安装完成

2.3 自助申请许可证


登录星环云网站:https://cloud.transwarp.cn/home

编辑组织信息

申请许可证

回到TDH Manager,输入账号进行“许可证申请”。

完成申请

安装完成


三、基本配置


3.1 开启安全


进入全局服务下的Guardian服务详情页,选择一键开启安全


输入密码

完成配置刷新

3.2 Hyperbase设置


使用hyperbase前需要进行依赖配置,如果开启安全还需要进行赋权操作。

安装结束后进入Quark服务详情页,更新quark依赖关系;

选择HypeHbase1

点击配置服务,配置完成后进行重启服务

确定快速重启

如果开启安全,需要进入guardian server页面,为hive用户赋予hyperbase权限。

点击Guardian服务详情页,进入Guardian Server权限页面进行编辑;

登录

进入权限配置页面

选择权限 Hypebase1

编辑

“+” 新增

保存

3.3 安装TDH客户端


Manager为用户提供了两种下载tdh-client的方式,其中选择manager自带tdh-client下载可能会比较慢,本章节将介绍如何进行快速下载。

Manager页面下载客户端,选择“随产品包上传”下载tdh-client。

选择所有组件 ,确定

下载 后上传/opt路径解压如下:

拷贝容器内的bundled_tdh_client目录到本地。此处假设客户端解压到了目录/opt下,命令为:

[root@devops opt]# docker ps -a 
CONTAINER ID   IMAGE                   COMMAND              CREATED       STATUS       PORTS     NAMES
1d5c56eca76d   tdh-standalone:2023.5   "/usr/bin/boot.sh"   2 hours ago   Up 2 hours             laughing_perlman
[root@devops opt]# 
[root@devops opt]# docker cp  1d5c56eca76d:/var/lib/transwarp-manager/master/content/resources/bundled_tdh_client .
[root@devops opt]# ls
ansible  bundled_tdh_client  containerd  py  TDH-Client  tdh-client.tar
[root@devops opt]# 
[root@devops opt]# ls bundled_tdh_client/
hadoop  hyperbase  inceptor  init.sh  kafka  redis  sqoop  zookeeper

复制bundled_tdh_client目录下的内容到解压后的TDH-Client目录下。

[root@devops opt]#  cp  -nr bundled_tdh_client/*   TDH-Client/

完成后即可使用TDH-Client。 使用TDH-Client前还需设置JAVA_HOME环境变量。


3.4 集群外使用hadoop client


首先您需要保证JAVA_HOME设置正确。已准备好TDH-Client(TDH-Client文件夹下有init.sh),下方假定TDH-Client存储路径为:/opt

3.4.1 使用zookeeper-client

在guardian上下载zookeeper租户的keytab,假定路径是/opt/TDH-Client/kerberos/zookeeper.keytab

将常用的几个 keytab文件下载 放到/opt/TDH-Client/kerberos 路径下

执行

export ZOOKEEPER_KEYTAB=/opt/TDH-Client/kerberos/zookeeper.keytab
source /opt/TDH-Client/init.sh

3.4.2 使用hadoop/hdfs

# 查看 principal
klist -kt /opt/TDH-Client/kerberos/hdfs.keytab
# 认证
kinit -kt /opt/TDH-Client/kerberos/hdfs.keytab hdfs@TDH

创建文件夹和上传文件测试

3.4.3 使用hbase shell


在guardian上下载hbase租户的keytab,假定路径是/tmp/hbase.keytab /opt/TDH-Client/kerberos/hbase.keytab, 如果没有认证直接进入 命令报错如下:

klist -kt /opt/TDH-Client/kerberos/hbase.keytab

确认后执行下方命令方可使用.

export HYPERBASE_KEYTAB=/opt/TDH-Client/kerberos/hbase.keytab
source /opt/TDH-Client/init.sh
kinit -kt /opt/TDH-Client/kerberos/hbase.keytab hbase@TDH

hbase shel 进入命令行,创建表kangll , put 数据

create 'kangll',{NAME=>'d',VERSIONS => 1,DATA_BLOCK_ENCODING => 'FAST_DIFF',COMPRESSION => 'SNAPPY'},{SPLITS=> ['0','1','2','3','4','5','6','7','8','9','a','b','c','d','e','f']}
alter  'kangll', {NAME => 't',VERSIONS => 1,DATA_BLOCK_ENCODING => 'FAST_DIFF',COMPRESSION => 'SNAPPY'},{SPLITS=> ['0','1','2','3','4','5','6','7','8','9','a','b','c','d','e','f']}

put 'kangll','e312673c87115b12#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','f8a5414345987335#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','ab68b01fb2fb77d9#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','0fbdc950ab7bac48#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','03852b8d2e682a2d#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','36506147bed193c9#20230215#1','t:md','2023-02-23 18:27:07.692'

查询成功


参考文档地址:

https://docs.transwarp.cn/#/documents-support/docs-detail/document/CE-PLATFORM/23-5/003TDH-CE-DEV-InstallManual?docType=docs%3Fcategory%3DTDH%26index%3D0&docName=%E7%A4%BE%E5%8C%BA%E5%BC%80%E5%8F%91%E7%89%88%E5%AE%89%E8%A3%85%E6%89%8B%E5%86%8C

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/150241.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

创米云无代码开发:连接CRM、用户运营、广告推广,实现电商平台的高效集成

创米云无代码开发简介 作为一家专注于小程序开发的优质IT技术服务商,创米云提供了国内领先的自主研发的小程序开发工具。这款工具的制作过程无需任何代码,用户只需利用拖拽可视化组件即可完成小程序的开发。创米云的小程序开发工具拥有海量的小程序行业…

错误:ERROR:torch.distributed.elastic.multiprocessing.api:failed

在多卡运行时,会出现错误(ERROR:torch.distributed.elastic.multiprocessing.api:failed),但是单卡运行并不会报错,通常在反向梯度传播时多卡梯度不同步。但我是在多卡处理数据进行tokenizer阶段报错,这竟然…

ZYNQ实验--Petalinux 安装

一、Petalinux 简介 PetaLinux是一个由Xilinx公司提供的嵌入式Linux开发工具套件,专门用于在Xilinx器件上构建、定制和部署嵌入式Linux系统。这个工具套件旨在简化嵌入式系统的开发过程,特别是针对使用Xilinx的可编程逻辑器件的系统。PetaLinux是Xilinx …

《信息安全原理与实践》(第3版):全面引领信息安全领域新潮流

在当今信息化社会的快速发展中,信息安全问题无疑是最为人们所关注的焦点之一。而《信息安全原理与实践》(第3版)的出版,无疑为解决这一问题提供了强大的理论和实践支持。 首先,这本书经过全面修订和更新,以适应信息安全领域日新月…

资产跟踪影响利润的 7 种方式

几乎每个工人都被托付某种有形资产来完成他们的工作。根据您的工作领域,这可能是一套制服、徽章、一台电脑、一部工作电话、一套建筑钥匙、一个工具包,甚至是一台价值超过您年薪的机器。 无论如何,我们都熟悉丢失您所保管的物品所带来的压力…

vite => .env 文件配置和使用

.env.development .env.production VITE_API_BASE_URL /api # 开发环境代理地址 .env.development 是在开发环境中的代理地址 .env.production 是在线上的代理地址 ( 两个 .env 内部的变量都是一样的 vite 会在你开发环境和线上环境自动做切换 ) …

flutter开发web应用支持浏览器跨域设置

开发web应用难免会遇到跨域问题,所以flutter设置允许web跨域的设置是要在你的flutter安装路径下面 flutter\bin\cache 找到flutter_tools.stamp文件,然后删除掉:这个文件是临时缓存文件 然后找到 flutter\packages\flutter_tools\lib\src\web…

树和森林 查找

讨论3.1 黄金分割查找? 在二分查找中,我们是取mid等于left和right的中间值,即用等分的方法进行查找. 那为什么一定要等分呐?能不能进行“黄金分割”?也就是midleft0.618(right-left),当然mid要取整数。如果这样查找&…

【腾讯云 HAI域探秘】浅尝一番AI绘画

前言 腾讯云高性能应用服务 HAI 是为开发者量身打造的澎湃算力平台。无需复杂配置,便可享受即开即用的GPU云服务体验。 我之前也参与锅一个AI绘画的活动,是基于InsCode的,都可以在线训练大模型,开发自己的AI应用程序。 这次腾讯…

Supervisor管理器

如果宝塔版本是低于 7.9 可以选用supervisor 管理器,宝塔7.9及以上版本此工具可能出BUG,请选择 堡塔应用管理器跳过本页,看堡塔应用管理器 Supervisor 管理器 和 堡塔应用管理器 二选一使用 步骤总结: 一、切换PHP命令行版本和站…

天机学堂-1、项目搭建,微服务架构设计

1.学习背景 各位同学大家好,经过前面的学习我们已经掌握了《微服务架构》的核心技术栈。相信大家也体会到了微服务架构相对于项目一的单体架构要复杂很多,你的脑袋里也会有很多的问号: 微服务架构该如何拆分? 到了公司中我需要自…

hyper-v外部网络,ssh服务正常,可以ping通虚拟机,但是无法远程连接虚拟机。

问题: ssh服务正常,可以ping通虚拟机,虚拟机可上网,一切正常,但是无法远程连接虚拟机。 报错:Network error: Connection refused 解决: 在本机的网络设置中,这个东西不知道是什么…

立体库堆垛机控制程序故障输出功能块

故障输出块 A "提升变频器故障" // O "提升变频器通讯故障" // ON "提升变频器准备好" "提升变频故障" A "水平变频器故障" // O "水平变频器通讯故障" // ON…

4.以docker容器生成镜像推送到阿里云镜像仓库

1.开通阿里云镜像仓库 1.1 登录阿里云,访问容器镜像服务。地址如下: https://cr.console.aliyun.com/cn-shanghai/instances 1.2 个人学习为例,创建个人版实例 1.2.1 点击个人实例 1.2.2 .创建个人实例 1.2.3 创建完成后,设置…

3.4-初识Container

常用的docker container命令: 1、基于image创建docker container命令: docker run lvdapiaoliang/hello-docker 2、列举当前本地正在运行的container容器命令: docker container ls 3、列举当前本地所有的container容器命令(包括正在运行的和…

Ubuntu 搜狗输入法无法输入中文解决方案(不需要重装,不需要重启服务器)

Ubuntu 搜狗输入法突然无法输入中文,上午还好用,下午就不好用了,直接上解决方案 1.终端输入pidof fcitx找到搜狗的进程,如下图红框中的就是进程 2.直接杀掉这个进程 3.其实到第二步,如果搜狗输入法自动重启了&#xf…

【python】—— 内置类型、运算符、表达式、关键字

🎃个人专栏: 🐬 算法设计与分析:算法设计与分析_IT闫的博客-CSDN博客 🐳Java基础:Java基础_IT闫的博客-CSDN博客 🐋c语言:c语言_IT闫的博客-CSDN博客 🐟MySQL&#xff1a…

Unity中Shader矩阵的行列式

文章目录 前言一、什么是矩阵的行列式?1、只有方阵才有行列式(即 n X n 的矩阵)2、数学上表示为 det(A) 或者 |A|3、行列式可以看做有向面积 或 体积 在空间中的变化影响 二、2 x 2矩阵的行列式三、3 x 3矩阵的行列式四、行列式计算总结五、使…

浙江大学数据结构陈越 第一讲 数据结构和算法

数据结构 数据结构是计算机科学中用来组织和存储数据的方式。它可以理解为一种组织数据的方式,能够有效地管理和操作数据,以及提供对数据进行存储、检索、更新和删除等操作的方法。常见的数据结构包括数组、链表、栈、队列、树和图等,它们各自…

神经网络常见评价指标AUROC(AUC-ROC)、AUPR(AUC-PR)

神经网络的性能可以通过多个评价指标进行衡量,具体选择哪些指标取决于任务的性质。以下是神经网络中常见的评价指标: 准确性(Accuracy): 准确性是最常见的分类任务评价指标,表示模型正确预测的样本数占总样…