文章目录
前言
博主介绍：✌目前全网粉丝3W+，csdn博客专家、Java领域优质创作者，博客之星、阿里云平台优质作者、专注于Java后端技术领域。
涵盖技术内容：Java后端、大数据、算法、分布式微服务、中间件、前端、运维等。
博主所有博客文件目录索引：博客目录索引(持续更新)
视频平台：b站-Coder长路
本期大数据实战项目功能演示及环境搭建教程（b站）：https://www.bilibili.com/video/BV1F6421V7dY
界面及功能描述
实现功能描述
大数据实训任务：
根据数据特征，设计一个任务场景，开发一个JavaWeb项目，实现如下任务：
（1）原始数据上传到HDFS，前端页面按钮启动文件上传任务，统计分析结果以文件的形式提供下载；
（2）利用MapReduce实现数据的预处理和分析；
（3）利用MapReduce将部分数据存储到Hbase，并实现数据的查询，查询结果显示到前端页面；
（4）利用数据仓库Hive对数据进行统计分析；可以单独执行hive程序进行统计分析；但分析结果要在前端界面展示；
（5）统计分析结果利用Echarts图表进行可视化展示。
要求：所有任务必须能够利用JavaWeb前端页面进行启动和显示结果。
数据集：小麦种子
实际实现的功能内容如下：
本次大数据实验项目所需要完成的项目内容如下：
1、点击上传文件：原始数据上传到HDFS，前端页面按钮启动文件上传任务，将数据将结果上传到HDFS中的/wheat。
2、点击mapreduce按钮：利用MapReduce实现数据的预处理和分析，最终数据结果是在HDFS的/anlysis目录下。
3、通过前端页面按钮点击Hbase存储：发送请求执行将数据存储到Hbase，并实现数据的查询，查询结果显示到前端页面；
4、利用数据仓库Hive对数据进行统计分析；可以单独执行hive程序进行统计分析；
分析结果展示通过要在前端界面点击hive分析结果按钮，来查询统计结果数据，最终使用Echarts图表进行可视化展示。对于数据分析我们是对种子的【区域】字段来进行分范围统计，四个范围如下：
0-11、12-15、15-20、20-30、>30。最终是以柱状图形式来展示。
技术选型
前端：HTML、JS、Echarts、JSP
后端：tomcat、servlet
大数据：Hadoop（MapReduce、HDFS）、Hbase、Hive
界面展示
首页界面
初始界面：包含四个功能
功能1：HDFS，选择文件+上传文件
详细步骤
功能描述：利用界面上点击上传文件，将我们提前准备好的数据集上传到HDFS中，最终的上传路径为：/wheat。
选择文件，再点击上传文件：
跳转到列表展示页，包含HDFS的文件列表：
接着我们进入到Hadoop的为web界面：http://192.168.0.176:9870/explorer.html#/wheat，可以看到在/wheat目录下有我们上传的seeds.csv文件：
功能2：MapReduce预处理数据
功能描述：点击mapreduce按钮，会对之前上传上来的csv文件进行map、reduce预处理操作，最终会将处理完的数据输出到/pre目录下，最终的文件名是part-r-00000。
点击mapreduce按钮，即可发送请求到后端来完成预处理数据：
处理完成之后，是空白页面，表示我们处理完毕。
接着我们重新进入到HDFS的控制台，可以在/pre中看到我们预处理得到的数据：
功能3：Hbase存储小麦种子数据并查询前10条记录
功能描述：会使用Hbase来将功能2中预处理的数据读出并存储到seeds_table表中，接着从seeds_table表中查询前10条记录最终在jsp页面上展示小麦种子数据。
跳转页面效果如下：
功能4：Hive分析原始csv文件数据并echarts图展示
功能描述：首先需要跑本地的WheatAnalysisJob任务，完成分析处理将结果上传到hdfs中的/analysis目录中，接着我们需要在页面上点击hive-echarts图按钮之后会后端程序会读取在hdfs中的/analysis结果，最终使用echarts图来显示。
首先需要在本地跑一个分析任务，使用hive来去分析：
分析打印信息如下：
点击hive-echarts图按钮：
本次实训大数据各个服务版本选择即配套文件
大数据技术服务选择：
- Hadoop3.1.0：依赖JDK8
- Hive3.1.2：依赖MySQL5.7
- Hbase2.2.4：依赖Hadoop、zookeeper3.4.5
系统：Cetnos7。
所有配套软件：
