分布式数据库原理及技术实验及个人思考

Hive的数据库及表的存储结构体系讨论:

1.显示hive所在数据库的位置

方法一:一次性临时存储

>hive set hive.cli.print.current.db=true

方法二:永久存储

在conf文件夹下修改hive-site.xml配置文件,添加

<property>

 <name>hive.cli.print.current.db</name>

 <value>true</value>

</property>

实现永久显现
问题1、HIVE创建的默认数据库以及在默认数据库下面创建的表存储位置在哪里?

为查看hive创建的默认数据库及默认数据库下所创表的存储位置,在dafault数据库下创建一个表 kwwr,通过hdfs命令查找到kwwr表所在位置

首先

desc extended kwwr;

或者

desc formatted kwwr;

查看状况

hdfs fs -ls 查看文件所在位置

可知:

HIVE创建的默认数据库所在位置:/warehousedir/home

在默认数据库下面创建的表存储位置:/warehousedir/home/kwwr

问题2、HIVE创建自定义数据库mydb,并在mydb下面创建自定义表student,则mydbstudent的存储位置在哪里?

同样,查看自定义数据库mydb以及自定义表student的存储位置

可知:

HIVE创建的自定义数据库mydb数据库所在位置:/warehousedir/home/mydb.db

mydb数据库下面创建的表student存储:/warehousedir/home/mydb.db/student

讨论:分析默认数据库中表的存储位置和自定义数据库中的表的存储位置是否一样

不一样,

默认数据库中的表存储在特定的数据文件中,这些文件通常位于数据库服务器上的特定目录/warehousedir/home/(表名)。对于自定义数据库,它的存储位置通常是在数据库服务器的相应数据目录下/warehousedir/home/(所创建的数据库名).db/(表名)。

HDFS指令操作

hdfs shell 使用

http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

hadoop fs -mkdir /usr;

-touchz 在hdfs上创建空白文件

hadoop fs -touchz /emptyfile

hadoop fs -ls /

1. -ls 显示当前目录结构

hadoop fs -ls /

后面如果没有目录就是访问/user/<当前用户>目录,即/user/root。

如果没有这个目录/user/root,会提示文件不存在的错误。

2. -lsr 递归显示目录结构

该命令选项表示递归显示当前路径的目录结构,后面跟hdfs路径。

hadoop fs -ls -R /usr

3. -du 统计目录下各文件大小

该命令选项显示指定路径下的文件大小,单位是字节

hadoop fs -du /usr

4. -dus 汇总统计目录下文件大小

该命令选项显示指定路径的文件大小,单位是字节

hadoop fs -du -s /usr

5. -count 统计文件(夹)数量

hdfs fs -count /usr

6. -mv 移动

该命令选项表示移动hdfs的文件到指定的hdfs目录中。

后面跟两个路径,第一个表示源文件,第二个表示目的目录.

hadoop fs -mv /usr/opt/data/student.txt  /usr

7. -cp 复制

该命令选项表示复制hdfs指定的文件到指定的hdfs目录中。

后面跟两个路径,第一个是被复制的文件,第二个是目的地.

hadoop fs -cp /usr/opt/data/student.txt  /usr

8.-rm 删除文件/空白文件夹

该命令选项表示删除指定的文件或者空目录

hadoop fs -rm /usr

-rmr 递归删除

9.-put 上传文件

该命令选项表示把linux上的文件复制到hdfs中 

hadoop fs -put /usr/opt/data/student.txt  /usr/data

??思考问题  -put后本地文件是否还有student.txt?-mv呢?-cp呢?

答:

-put后本地文件还存在原文件

-mv后本地文件不存在

-cp后本地文件还存在

10. -cat查看文件内容; -text

hadoop fs -cat /student.txt

11. -chmod 修改文件权限

hadoop fs -chmod 777 /emptyfile   777最高权限读写方式

12. get(从hdfs拷贝文件到本地)

hdfs  fs  -get  /usr/student.txt  /usr/opt/data

Hive下命令:

Create database location /testdata;

指定所存到的位置

hive 删除数据库报库内已存在表

Drop database if exists 数据库名 cascade;

思考:hadoop fs -mkdir /testdata
hive>create database fh1 location '/testdata/fh1.db';
hive>create table student(sid int, sname string);

如果使用drop database fh1;是否可以删除数据库fh1?

不可以


如果使用hive>drop database if exists fh1 cascade; 那么/testdata文件夹还是否存在?

可以删除掉数据库,但/testdata文件夹不存在了

但是如果默认数据库创建的位置,删去数据库后,默认存储文件夹/warehousedir/home不会消失

删去数据库mydb1后,显示结果:

实操实验:

1.将ah16表中满足条件:年龄在19到22岁之间且血型为A的学生名单查询输出到/exampleout目录下;

Hdfs创建文件系统:

将数据写入文件系统:

insert overwrite directory 'lexampleout'

row format delimited

fields terminated by','

select * from blood  

where age>19 and age<=22 and blood='A';

查看:

2、通过insert into ...values指令同时插入三条数据,是否需要启动mapreduce?

需要启动MR

3、update ... set...[where]指令需不需要启动Mapreduce? where 语句存在性是否会影响MR的启动?

update ... set...[where]指令需要启动MR;

where 语句存在性不影响MR的启动

  1. delete from与drop table的区别,两者是否需要启动mapreduce?

delete from需要启动MR

Drop table则不需要

直接删除表

  1. rename一个已有表的表名,如何实现,是否需要启动mapreduce?

不需要启动MR

只是修改元数据,而不是实际的数据。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/309894.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

医疗器械网络安全风险评定CVSS打分

为了完成医疗器械软件的网络安全风险评定相关文档&#xff0c;需要进行CVSS评分&#xff0c;这个评分对于第一次做的人来说感觉还是有些迷惑的&#xff0c;查了一些资料&#xff0c;留作参考。 CVSS 指的是 Common Vulnerability Scoring System&#xff0c;即通用漏洞评分系统…

Linux学习记录——삼십팔 网络层IP协议

文章目录 1、了解IP协议2、IP协议报文1、8位服务类型2、16位总长度&#xff08;字节数&#xff09;3、8位生存时间&#xff08;TTL&#xff09; 3、网段划分1、网段划分和CIDR方案2、子网划分简单方法3、IP地址问题的解决方案 4、公网内网1、内网分配2、运营商管理方法 5、路由…

23种设计模式精讲,配套23道编程题目 ,支持 C++、Java、Python、Go

关于设计模式的学习&#xff0c;大家应该还是看书或者看博客&#xff0c;但却没有一个边学边练的学习环境。 学完了一种设计模式 是不是应该去练一练&#xff1f; 所以卡码网 针对 23种设计&#xff0c;推出了 23道编程题目&#xff0c;来帮助大家练习设计模式&#xff0c;地…

DevEco Studio for Mac:zsh: command not found: ohpm

一、检查是否配置有ohpm环境 1、新打开一个终端输入export&#xff0c;查看是否有 ohpm路径&#xff1a; 二、如果没有找到ohpm路径&#xff0c;开始配置环境 。 1、查找本机ohpm路径&#xff0c;并记录ohpm解释器的路径&#xff1a; 2、打开终端工具&#xff0c;执行命令 ech…

PHP开发日志 ━━ php8.3安装与使用组件Xdebug

今天开头写点历史&#xff1a; 二十年前流行asp&#xff0c;当时用vb整合常用函数库写了一个dll给asp调用&#xff0c;并在此基础上开发一套仿windows界面的后台管理系统&#xff1b;后来asp逐渐没落&#xff0c;于是在十多年前转投php&#xff0c;不久后用php写了一套mvc框架&…

[足式机器人]Part2 Dr. CAN学习笔记-Advanced控制理论 Ch04-4系统的可控性Controllability(LTI)线性时不变

本文仅供学习使用 本文参考&#xff1a; B站&#xff1a;DR_CAN Dr. CAN学习笔记-Advanced控制理论 Ch04-4系统的可控性Controllability-LTI线性时不变

第2章 Java编程基础

2.1. Java程序格式 2.1.1 Java程序的基本格式 Java程序代码必须放在一个类中&#xff0c;初学者可以简单地把一个类理解为一个Java程序。类使用class关键字定义&#xff0c;在class前面可以有类的修饰符&#xff0c;类的定义格式如下&#xff1a; 修饰符 class 类名{ 程序代码…

uniapp中实现H5录音和上传、实时语音识别(兼容App小程序)和波形可视化

文章目录 Recorder-UniCore插件特性集成到项目中调用录音上传录音ASR语音识别 在uniapp中使用Recorder-UniCore插件可以实现跨平台录音功能&#xff0c;uniapp自带的recorderManager接口不支持H5、录音格式和实时回调onFrameRecorded兼容性不好&#xff0c;用Recorder插件可避免…

Vue组件

一&#xff1a;组件化开发基础 1.组件是什么&#xff1f;有什么用&#xff1f; 组件就是&#xff1a;扩展 HTML 元素&#xff0c;封装可重用的代码&#xff0c;目的是复用 例如&#xff1a;有一个轮播图&#xff0c;可以在很多页面中使用&#xff0c;一个轮播有js&#xff0c;…

UniApp调试支付宝沙箱(安卓)

先看下这里完整的交互的图&#xff1a;小程序文档 - 支付宝文档中心 一、打包 不管怎样&#xff0c;先打个包先。可以直接使用云端证书、云端打包&#xff0c;只需要指定包名即可。 二、在支付宝开放平台创建应用 这个参考官方的过程就可以了&#xff0c;只要有刚才打的包&…

人工智能行业的发展前景如何?

人工智能&#xff08;AI&#xff09;已经成为如今科技领域的热门话题之一&#xff0c;从图像识别到自动驾驶&#xff0c;从语音助手到智能机器人&#xff0c;AI技术正在改变我们的生活方式。随着技术的不断发展和应用的扩大&#xff0c;人工智能行业的发展前景无疑是非常广阔的…

电池组不能充电的原因

一、电池组不能充电的原因 01&#xff09;电池零电压或电池组中有零电压电池&#xff1b; 02&#xff09;电池组连接错误&#xff0c;内部电子组件&#xff0c;保护电路出现异常&#xff1b; 03&#xff09;充电设备故障&#xff0c;无输出电流&#xff1b; 04&#xff09;外部…

linux kernel:devres模块架构分析

参考文档&#xff1a; https://www.kernel.org/doc/html/latest/driver-api/driver-model/devres.html https://www.cnblogs.com/sammei/p/3498052.html devres in linux driver devres: Managed Device Resource device resource managementdevres_alloc()动态申请内存分配…

最好的 6 个华为/小米/OPPO/VIVO手机数据恢复软件评测

如何恢复手机上已删除的文件&#xff1f;下载 华为/小米/OPPO/VIVO数据恢复是否安全&#xff1f;在这里&#xff0c;我们将与您分享最好的 华为/小米/OPPO/VIVO数据恢复软件&#xff0c;以恢复所有数据&#xff0c;包括照片、视频、应用程序数据等。阅读这篇文章并获得最可靠且…

力扣题目的参数解释(力扣初用者必看指南)

导入&#xff1a; 题目来源&#xff1a;leetcode 867 转置矩阵 参数列表&#xff1a; int** matrix int matrixSize int* matrixColSize int* returnSize int** returnColumnSizes 模仿main&#xff08;&#xff09;函数 完整代码 运行结果 最后本题的AC答案 结语&…

了解数据链路层中的HDLC协议

HDLC&#xff08;High-Level Data Link Control&#xff09;协议是一种数据链路层协议&#xff0c;它定义了在数字通信中数据的传输和控制方式。HDLC协议具有简单高效、可靠可扩展等特点&#xff0c;在广域网和局域网中得到了广泛应用。本文将介绍HDLC协议的基本概念、工作原理…

OpenAI大反击!称纽约时报涉嫌故意操纵,且数据是「合理使用」

大家好我是二狗。 《纽约时报》向法院起诉OpenAI侵犯版权后续事件来了&#xff01; 就在今天&#xff0c;OpenAI进行了一场“危机公关”&#xff1a;直接在官方博客上撰文发声&#xff0c;反驳《纽约时报》的诉讼&#xff0c;其主要观点有四个&#xff1a; 1、我们正在和新闻…

低代码的应用场景

Gartner 在 2019 年的低代码调研报告中&#xff0c;曾经绘制过一张用来阐述低代码适用场景的“应用金字塔”&#xff0c;如下图所示&#xff1a; 应用级别划分&#xff1a;从下往上&#xff0c;分别为工作组级(Workgroup Class)、部门级(Departmental Class)、企业级(Enterpris…

SV-298XT IP网络广播板 SV-298XT-共公广播音频模块IP网络广播板

SV-298XT IP网络广播板 SV-298XT-共公广播音频模块IP网络广播板 SV-298XT网络广播模块是一款全数字网络型广播模组&#xff0c;核心部分采用了成熟的私有协议解决方案&#xff0c;性能稳定可靠。支持TCP、UDP、组播协议能针对当前服务器中不同的广播任务设置不同的广播传输方式…

mac 快捷键

mac 程序坞 ctrlaltD:打开程序坞 调度中心 Ctrl键↑: 调度中心 Ctrl键↓:应用程序窗口 F11 : 显示桌面 输入法 Ctrl键空格: 切换输入法 Ctrl键Alt(Option)空格: 切换输入法 截屏 帮助 Ctrl键shift键/: 显示帮助