图书馆数据仓库

目录

1.数据仓库的数据来源为业务数据库(mysql)

       初始化脚本

   init_book_result.sql

2.通过sqoop将mysql中的业务数据导入到大数据平台(hive)

 导入mysql数据到hive中

3.通过hive进行数据计算和数据分析 形成数据报表

4.再通过sqoop将数据报表导出到mysql 

5.使用FineReport制作数据报表


1.数据仓库的数据来源为业务数据库(mysql)

        包含 图书表 t_book_info,

                借书表 t_borrow_info,  

                用户表 t_user_info  38条数据

                图书类别表 dim_books_type 5条

       初始化脚本

        init_mysql.sql

        

-- 设置sql_mode
set sql_mode = 'NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES';

-- 创建数据库library
create database library;

-- 切换数据库
use library;

-- 创建用户信息表
CREATE TABLE t_user_info(
	user_id        varchar(100) not null,
	user_name      varchar(100) not null,
	sex            varchar(10)  not null,
	age            int not null
)DEFAULT CHARSET='utf8';

-- 创建图书表
CREATE TABLE t_book_info(
	book_id        varchar(100) not null,
	book_name 	   varchar(100) not null,
	type_id        varchar(100) not null
)DEFAULT CHARSET='utf8';


-- 创建图书类别表
CREATE TABLE dim_books_type(
	type_id    varchar(100) not null,
	type_name  varchar(100) not null
)DEFAULT CHARSET='utf8';

-- 创建借书表
CREATE TABLE t_borrow_order(
	user_id        varchar(100) not null,
	book_id   varchar(100) not null,
	create_time    varchar(100) not null
)DEFAULT CHARSET='utf8';

-- 用户信息表插入数据
insert into t_user_info values ('114', '王小名', '男', 22);
insert into t_user_info values ('115', '张美丽', '女', 27);
insert into t_user_info values ('116', '李华', '男', 30);
insert into t_user_info values ('117', '陈晓红', '女', 35);
insert into t_user_info values ('118', '赵伟', '男', 24);
insert into t_user_info values ('119', '周小燕', '女', 29);
insert into t_user_info values ('120', '吴强', '男', 33);
insert into t_user_info values ('121', '郑丽', '女', 26);
insert into t_user_info values ('122', '王刚', '男', 28);
insert into t_user_info values ('123', '黄芳', '女', 31);
insert into t_user_info values ('124', '刘涛', '男', 36);
insert into t_user_info values ('125', '杨静', '女', 25);
insert into t_user_info values ('126', '张杰', '男', 32);
insert into t_user_info values ('127', '陈莉', '女', 23);
insert into t_user_info values ('128', '赵勇', '男', 38);
insert into t_user_info values ('129', '周敏', '女', 30);
insert into t_user_info values ('130', '吴浩', '男', 29);
insert into t_user_info values ('131', '郑薇', '女', 34);
insert into t_user_info values ('132', '王林', '男', 27);
insert into t_user_info values ('133', '黄梅', '女', 26);
insert into t_user_info values ('134', '刘军', '男', 37);
insert into t_user_info values ('135', '杨慧', '女', 25);
insert into t_user_info values ('136', '张明', '男', 33);
insert into t_user_info values ('137', '陈霞', '女', 31);
insert into t_user_info values ('138', '赵海', '男', 28);
insert into t_user_info values ('139', '周兰', '女', 36);
insert into t_user_info values ('140', '吴飞', '男', 24);
insert into t_user_info values ('141', '郑敏', '女', 27);
insert into t_user_info values ('142', '王磊', '男', 35);
insert into t_user_info values ('143', '黄蓉', '女', 30);
insert into t_user_info values ('144', '刘丽', '女', 26);
insert into t_user_info values ('145', '杨勇', '男', 32);
insert into t_user_info values ('146', '张华', '男', 29);
insert into t_user_info values ('147', '陈敏', '女', 34);
insert into t_user_info values ('148', '赵丽', '女', 31);
insert into t_user_info values ('149', '周刚', '男', 25);
insert into t_user_info values ('150', '吴丽', '女', 37);
insert into t_user_info values ('151', '郑强', '男', 28);
insert into t_user_info values ('152', '王芳', '女', 33);
insert into t_user_info values ('153', '黄伟', '男', 27);
insert into t_user_info values ('154', '刘静', '女', 36);
insert into t_user_info values ('155', '杨华', '男', 24);
insert into t_user_info values ('156', '张敏', '女', 31);
insert into t_user_info values ('157', '陈军', '男', 30);
insert into t_user_info values ('158', '赵敏', '女', 26);
insert into t_user_info values ('159', '周强', '男', 35);
insert into t_user_info values ('160', '吴红', '女', 32);
insert into t_user_info values ('161', '郑丽', '女', 29);
insert into t_user_info values ('162', '王伟', '男', 34);
insert into t_user_info values ('163', '黄静', '女', 31);
insert into t_user_info values ('164', '刘涛', '男', 25);
insert into t_user_info values ('165', '杨敏', '女', 37);
insert into t_user_info values ('166', '张勇', '男', 28);
insert into t_user_info values ('167', '陈芳', '女', 33);
insert into t_user_info values ('168', '赵军', '男', 27);
insert into t_user_info values ('169', '周丽', '女', 36);
insert into t_user_info values ('170', '吴华', '男', 24);

commit;


-- 图书表插入数据
-- Book Type: 散文随笔 (a)
insert into t_book_info values ('a001', '珠江潮汐美', 'a');
insert into t_book_info values ('a002', '晨曦的低语', 'a');
insert into t_book_info values ('a003', '山间小路', 'a');
insert into t_book_info values ('a004', '秋叶之歌', 'a');
insert into t_book_info values ('a005', '夜色中的琴声', 'a');
insert into t_book_info values ('a006', '城市边缘的诗人', 'a');
insert into t_book_info values ('a007', '冬日里的暖阳', 'a');
insert into t_book_info values ('a008', '海边的沉思', 'a');
-- book type: 世界名著 (b)
insert into t_book_info values ('b001', '悲惨世界', 'b');
insert into t_book_info values ('b002', '百年孤独', 'b');
insert into t_book_info values ('b003', '双城记', 'b');
insert into t_book_info values ('b004', '战争与和平', 'b');
insert into t_book_info values ('b005', '简爱', 'b');
insert into t_book_info values ('b006', '飘', 'b');
insert into t_book_info values ('b007', '堂吉诃德', 'b');
insert into t_book_info values ('b008', '呼啸山庄', 'b');
-- book type: 少儿童书 (c)
insert into t_book_info values ('c001', '小王子的星球', 'c');
insert into t_book_info values ('c002', '魔法森林的秘密', 'c');
insert into t_book_info values ('c003', '海底两万里', 'c');
insert into t_book_info values ('c004', '勇敢的小火车头', 'c');
insert into t_book_info values ('c005', '神奇的种子', 'c');
insert into t_book_info values ('c006', '月亮上的兔子', 'c');
insert into t_book_info values ('c007', '彩虹桥下的秘密', 'c');
insert into t_book_info values ('c008', '会说话的石头', 'c');
-- book type: 历史小说 (d)
insert into t_book_info values ('d001', '三国演义', 'd');
insert into t_book_info values ('d002', '水浒传', 'd');
insert into t_book_info values ('d003', '大明王朝', 'd');
insert into t_book_info values ('d004', '清朝末年', 'd');
insert into t_book_info values ('d005', '大唐盛世', 'd');
insert into t_book_info values ('d006', '宋朝风云', 'd');
insert into t_book_info values ('d007', '明朝那些事儿', 'd');
insert into t_book_info values ('d008', '清朝宫廷秘史', 'd');
-- book type: 国学入门 (e)
insert into t_book_info values ('e001', '论语解读', 'e');
insert into t_book_info values ('e002', '道德经注释', 'e');
insert into t_book_info values ('e003', '易经初探', 'e');
insert into t_book_info values ('e004', '诗经选读', 'e');
insert into t_book_info values ('e005', '孟子精讲', 'e');
insert into t_book_info values ('e006', '庄子心解', 'e');
insert into t_book_info values ('e007', '大学中庸', 'e');
insert into t_book_info values ('e008', '孝经新解', 'e');

commit;

-- 图书类别表插入数据
insert into dim_books_type values('a','散文随笔');
insert into dim_books_type values('b','世界名著');
insert into dim_books_type values('c','少儿童书');
insert into dim_books_type values('d','历史小说');
insert into dim_books_type values('e','国学入门');

commit;

-- 借书表插入数据
insert into t_borrow_order values('114','a002','2022-11-08 09:23:54');
insert into t_borrow_order values('115','e002','2022-11-08 09:23:54');
insert into t_borrow_order values('114','b003','2022-11-08 09:23:54');
insert into t_borrow_order values('116','d002','2022-11-08 09:23:54');
insert into t_borrow_order values('114','c001','2022-11-08 09:23:54');
insert into t_borrow_order values('115','a005','2022-11-08 09:23:54');
insert into t_borrow_order values('117','b004','2022-11-08 09:23:54');
insert into t_borrow_order values('118','a007','2022-11-08 09:23:54');
insert into t_borrow_order values('118','a004','2022-11-08 09:23:54');
insert into t_borrow_order values('119','e003','2022-11-08 09:23:54');
insert into t_borrow_order values('119','d001','2022-11-08 09:23:54');
insert into t_borrow_order values('120','a002','2022-11-08 09:23:54');
insert into t_borrow_order values('120','a004','2022-11-08 09:23:54');
insert into t_borrow_order values('121','d005','2022-11-08 09:23:54');
insert into t_borrow_order values('123','b006','2022-11-08 09:23:54');
insert into t_borrow_order values('124','a002','2022-11-08 09:23:54');
insert into t_borrow_order values('125','e004','2022-11-08 09:23:54');
insert into t_borrow_order values('126','b002','2022-11-08 09:23:54');
insert into t_borrow_order values('127','a003','2022-11-08 09:23:54');
insert into t_borrow_order values('124','d002','2022-11-08 09:23:54');
insert into t_borrow_order values('122','b001','2022-11-08 09:23:54');
insert into t_borrow_order values('128','a001','2022-11-08 09:23:54');
insert into t_borrow_order values('129','a006','2022-11-08 09:23:54');
insert into t_borrow_order values('125','d008','2022-11-08 09:23:54');
insert into t_borrow_order values('123','e008','2022-11-08 09:23:54');
insert into t_borrow_order values('120','a005','2022-11-08 09:23:54');
insert into t_borrow_order values('130','b007','2022-11-08 09:23:54');
insert into t_borrow_order values('131','a007','2022-11-08 09:23:54');
insert into t_borrow_order values('132','a008','2022-11-08 09:23:54');
insert into t_borrow_order values('133','e004','2022-11-08 09:23:54');
insert into t_borrow_order values('135','a004','2022-11-08 09:23:54');
insert into t_borrow_order values('133','d003','2022-11-08 09:23:54');
insert into t_borrow_order values('136','a003','2022-11-08 09:23:54');
insert into t_borrow_order values('138','a004','2022-11-08 09:23:54');
insert into t_borrow_order values('139','d001','2022-11-08 09:23:54');
insert into t_borrow_order values('133','e001','2022-11-08 09:23:54');
insert into t_borrow_order values('133','a002','2022-11-08 09:23:54');
insert into t_borrow_order values('132','e002','2022-11-08 09:23:54');
insert into t_borrow_order values('131','a003','2022-11-08 09:23:54');
insert into t_borrow_order values('141','b003','2022-11-08 09:23:54');
insert into t_borrow_order values('140','e003','2022-11-08 09:23:54');
insert into t_borrow_order values('142','a005','2022-11-08 09:23:54');
insert into t_borrow_order values('142','d005','2022-11-08 09:23:54');
insert into t_borrow_order values('146','b006','2022-11-08 09:23:54');
insert into t_borrow_order values('144','d006','2022-11-08 09:23:54');
insert into t_borrow_order values('148','d007','2022-11-08 09:23:54');
insert into t_borrow_order values('144','e003','2022-11-08 09:23:54');
insert into t_borrow_order values('142','a003','2022-11-08 09:23:54');
insert into t_borrow_order values('143','e003','2022-11-08 09:23:54');
insert into t_borrow_order values('149','d004','2022-11-08 09:23:54');
insert into t_borrow_order values('150','a005','2022-11-08 09:23:54');
insert into t_borrow_order values('151','a005','2022-11-08 09:23:54');
insert into t_borrow_order values('151','a002','2022-11-08 09:23:54');
insert into t_borrow_order values('154','d003','2022-11-08 09:23:54');
insert into t_borrow_order values('153','d002','2022-11-08 09:23:54');
insert into t_borrow_order values('156','a002','2022-11-08 09:23:54');
insert into t_borrow_order values('155','d003','2022-11-08 09:23:54');
insert into t_borrow_order values('157','a004','2022-11-08 09:23:54');
insert into t_borrow_order values('158','d005','2022-11-08 09:23:54');
insert into t_borrow_order values('159','a005','2022-11-08 09:23:54');
insert into t_borrow_order values('154','c006','2022-11-08 09:23:54');
insert into t_borrow_order values('153','d007','2022-11-08 09:23:54');
insert into t_borrow_order values('152','c004','2022-11-08 09:23:54');
insert into t_borrow_order values('154','a004','2022-11-08 09:23:54');
insert into t_borrow_order values('151','d003','2022-11-08 09:23:54');
insert into t_borrow_order values('152','a002','2022-11-08 09:23:54');
insert into t_borrow_order values('162','c003','2022-11-08 09:23:54');
insert into t_borrow_order values('161','a001','2022-11-08 09:23:54');
insert into t_borrow_order values('166','d002','2022-11-08 09:23:54');
insert into t_borrow_order values('163','a002','2022-11-08 09:23:54');
insert into t_borrow_order values('167','c003','2022-11-08 09:23:54');
insert into t_borrow_order values('169','a005','2022-11-08 09:23:54');
commit;

   init_book_result.sql

-- 设置sql_mode
set sql_mode = 'NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES';

-- 创建数据库result,并进行切换
create database book_result;

use book_result;


-- 创建图书类别浏览量表
CREATE TABLE t_books_type_borrow_count(
	type_name        varchar(100) not null,
	borrow_count        int not null
)DEFAULT CHARSET='utf8';

2.通过sqoop将mysql中的业务数据导入到大数据平台(hive)

在hive中建立映射的数据库

init_hive.sql

create database library;
use library;

-- 创建用户信息表

create table t_user_info (
    user_id STRING    comment "用户id",   
    user_name STRING  comment "用户姓名", 
    sex STRING        comment "用户姓名",       
    age INT           comment "用户性别"
) 
comment "用户信息表"
row format delimited fields terminated by ','
stored as textfile;

-- 创建图书表

create table t_book_info (
    book_id STRING    comment "图书id",   
    book_name STRING  comment "书名", 
    type_id STRING    comment "类别id"
) 
comment "图书表"
row format delimited fields terminated by ','
stored as textfile;

-- 创建图书类别表

create table dim_books_type (
    type_id STRING    comment "类别id",   
    type_name STRING  comment "类别名"
) 
comment "图书类别表"
row format delimited fields terminated by ','
stored as textfile;

-- 创建借书表

create table t_borrow_order (
    user_id STRING     comment "用户id",    
    book_id STRING     comment "图书id",    
    create_time STRING comment "创建时间"
) 
comment "借书表"
row format delimited fields terminated by ','
stored as textfile;

source /opt/sql/library/init_hive.sql;

 导入mysql数据到hive中

此次mysql与hive中的表名都相同

sqoop import \

                                     虚拟机      端口号 mysql中的数据库名

--connect jdbc:mysql://bigdata004:3306/mall \  

--username root \

--password root123 \

           mysql中的表名

--table t_user_info \

--num-mappers 1 \

--hive-import \

--fields-terminated-by "," \

--hive-overwrite \

导入dim_books_type


sqoop import \
--connect jdbc:mysql://bigdata004:3306/library \
--username root \
--password root123 \
--table dim_books_type \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "," \
--hive-overwrite \
--hive-table library.dim_books_type

3.通过hive进行数据计算和数据分析 形成数据报表


--切换数据库
use library;
 
 
--创建图书类别借阅表
--从借书表中获取图书id 
--从图书表中获取图书id的类别id
--从类别表中获取类别名
--表中显示 类名 和 该类名的总数()

 
create table if not exists library.dws_borrow_books_type_count
as
	select t3.type_name,count(t2.type_id) as borrow_count from (select book_id from t_borrow_order) t1
	inner join t_book_info t2 on t1.book_id=t2.book_id
	inner join dim_books_type t3 on t2.type_id=t3.type_id
	group by t3.type_name;

4.再通过sqoop将数据报表导出到mysql 

-- sqoop导出数据到mysql

sqoop export \

                                   主机名                 数据库
--connect jdbc:mysql://bigdata004:3306/result \
--username root \
--password root123 \

                    mysql上的表名
--table  t_city_sale_total \
--num-mappers 1 \

                    hdfs上的数据库位置
--export-dir /user/hive/warehouse/mall_bigdata.db/dws_sale_order_city_total \
--input-fields-terminated-by  "\001"

-- sqoop导出数据到mysql

sqoop export \
--connect jdbc:mysql://bigdata004:3306/book_result \
--username root \
--password root123 \
--table t_books_type_borrow_count \
--num-mappers 1 \
--export-dir /user/hive/warehouse/library.db/dws_borrow_books_type_count \
--input-fields-terminated-by "\001"

5.使用FineReport制作数据报表

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/775222.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

一次建表语句触发的ORA-600报错分析

​ 某次在客户Oracle数据库执行一条建表语句时,报出ORA-600错误。 报错代码如下: ORA-00600: 内部错误代码, 参数: [rwoirw: check ret val], [], [], [], [], [], [], [], [], [], [], [] 相关的建表语句如下: ​ 在报错发生后,…

研0学习Python基础4

1.数组是一种存储大量同性质数据的连续内存空间,只要使用相同的变量名称,便可以连续访问 每一组数据。由于数组元素的便利性,使得大多数程序中都可以看到数组的身影。数组是一 个带有多个数据且模式相同的元素集合。比如,数值所…

Python + 在线 + 文生音,音转文(中文文本转为英文语音,语音转为中文文本)

开源模型 平台:https://huggingface.co/ars-语言转文本: pipeline("automatic-speech-recognition", model"openai/whisper-large-v3", device0 ) hf: https://huggingface.co/openai/whisper-large-v3 github: https://github.com/openai/wh…

详细的讲解一下网络变压器应用POE ,AT BT AF BF的概念,做电路连接指导分析

网络变压器在应用POE(Power over Ethernet)技术时,承担着重要的角色。它不仅负责数据的传输,同时也为网络设备提供电力。在IEEE 802.3标准中,定义了几个与POE相关的标准,包括802.3af、802.3at、802.3bt等&a…

AWS云服务器的竞争优势

亚马逊网络服务(AWS)作为全球最大的云计算平台,在激烈的市场竞争中一直保持领先地位。相较于其他云服务提供商,AWS云服务器具有多方面的显著优势,使其成为众多企业和开发者的首选,我们结合九河云的分析一起…

2024攻防演练:亚信安全新一代WAF,关键时刻守护先锋

实网攻防 网络安全如同一面坚固的盾牌,保护着我们的信息资产免受无孔不入的威胁。而其中,WAF就像网络安全的守门员,关键时刻挺身而出,为您的企业筑起一道坚实的防线。 攻防不对等 防守方实时应答压力山大 在攻防对抗中&#xf…

SpringBoot整合Dubbo的快速使用教程

目录 一、什么是Dubbo? 二、SpringBoot整合Dubbo 1、父工程引入依赖 2、各个Dubbo服务子模块引入依赖 3、服务提供者 (1)启动类添加注解EnableDubbo (2)服务类添加注解DubboService (3)配置文件…

Linux系统的基础知识和常用命令

1、什么是Linux? 是一种免费使用和自由传播的类UNIX操作系统,其内核由林纳斯本纳第克特托瓦兹于1991年10月5日首次发布,它主要受到Minix和Unix思想的启发,是一个基于POSIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行…

C++学习笔记二

一、常量 1.用const关键字声明常量变量 const常量变量在定义时必须进行初始化,并且不能通过赋值来改其值 const double gravity { 9.8 }; //首选在类型之前使用const int const sidesInSquare { 4 }; // “east const”风格,可以,但不是首…

Java实习手册(小白也看得懂)

秃狼说 距离俺发布的学习路线已经六个月了,那我给小伙伴的学习周期是四五个月左右,我相信大多的小伙伴已经学习的差不多了。正好赶上暑期实习的阶段,在暑期找到实习就成为暑期的头等大事。 实习经验在校招的起到决定性的作用,所…

单元测试Spring 上下文加载过程中遇到的阻塞或死锁问题

IDEA单元测试一直转圈,阻塞,前置后置的方法都不执行,无任何输出 1.单元测试类 SpringBootTest(classes {BareMetalApplication.class}) RunWith(SpringRunner.class) public class K8sUserNfsStoreInitServiceImplTest {BeforeEachpublic…

国家力推!国家人工智能产业标准化指南

在科技日新月异的今天,人工智能(AI)作为推动社会进步和产业升级的关键力量,正以前所未有的速度改变着我们的世界。从自动驾驶到智能制造,从智慧医疗到金融科技,人工智能的触角已经深入到了经济社会的各个角…

三万字带你一遍跑通uer

三万字带你一遍跑通uer 参考文档 今天给大家介绍个非常强大的项目uer,集成了许多可以做自然语言的东西,效果的话也非常好,很适合企业级的应用! 1. 先将项目uer从github拉取下来(zip或git都ok) 2. 用pycha…

linux查看当前文件夹的剩余空间

要查看当前文件夹所在的文件系统的剩余空间,并以GB为单位显示,可以使用以下命令: df -BG .其中: B:用于指定块大小(block size)。你可以通过指定后缀来改变输出的单位,如K&#xf…

船舶雷达与导航系统选择7/8防水插座的原因分析

概述 船舶雷达与导航系统在现代航海中扮演着至关重要的角色,它们为船舶提供准确的导航信息,确保航行的安全和效率。在这些系统中,7/8防水插座的使用尤为重要,因为它们能够在恶劣的海上环境中提供稳定的电力和信号连接。接下来&am…

Finding Global Homophily in Graph Neural Networks When Meeting Heterophily

本文发表于:ICML22 推荐指数: #paper/⭐⭐⭐ 问题背景: 异配图的邻接矩阵难以确定,以及异配图的计算复杂度开销大 可行的解决办法:高通滤波多跳邻居,GPRGNN(pagerank一类,各阶邻居的权重不同,ACM-GCN(高低通滤波,H2GCN(应该复杂度很大&…

《梦醒蝶飞:释放Excel函数与公式的力量》8.8 STDEVP函数

8.8 STDEVP函数 STDEVP函数是Excel中用于计算总体数据的标准偏差的函数。标准偏差是统计学中的一个重要指标,用于衡量数据集中各数值偏离平均值的程度。总体标准偏差考虑了整个数据集,而不是样本。 8.8.1 函数简介 STDEVP函数用于返回总体数据的标准偏…

Infinitar链游新发展新机遇

区块链游戏市场在近年来经历了显著增长,吸引了大量的投资和关注。随着加密货币和NFT(非同质化代币)概念的普及,越来越多的投资者、游戏开发者和看到了区块链技术在游戏领域的应用潜力,纷纷涌入市场。区块链游戏的用户量…

LeetCode 算法:二叉树的最近公共祖先 III c++

原题链接🔗:二叉树的最近公共祖先 难度:中等⭐️⭐️ 题目 给定一个二叉树, 找到该树中两个指定节点的最近公共祖先。 百度百科中最近公共祖先的定义为:“对于有根树 T 的两个节点 p、q,最近公共祖先表示为一个节点…

Jackson与Json、Json和各种Java数据类型的互相转化

jackson是什么 json是最常用的数据交换格式 Jackson是最流行的Json库 首先对于这种JSON序列化的库其实有非常多,比如我们熟悉的Gson,Fastjson等等,当然技术没有完全的好坏,但是从使用情况和社区生态等方面综合看来,Ja…