文章目录
- 前言
- 一、大数据平台基本概念及发展趋势
- 1、数据量爆发式增长,发数据蓬勃发展
- 2、大数据到底是什么?
- 3、大数据处理与传统数据处理的差异
- 4、为什么要建立大数据平台?
- 5、大数据平台开源架构-Hadoop
- 6、华为云大数据平台架构
- 二、大数据技术框架及应用
- 1、大数据的应用场景
- 2、大数据应用流程框架
- 3、大数据技术平台框架
- 4、从数据供应到数据应用消费是一项系统性的工程
- 5、大数据的应用举例:导航软件红绿灯倒计时引导
- 6、大数据的应用举例:千人千面内容推荐
前言
- 掌握大数据平台的基本概念和特征
- 了解大数据平台架构
- 了解大数据平台技术发展趋势
- 了解大数据的应用场景
- 掌握大数据的应用框架
一、大数据平台基本概念及发展趋势
1、数据量爆发式增长,发数据蓬勃发展
-
我国网民数量居世界之首,每天产生的数据量也位于世界前列。
-
中央政府多次指出数据的重要性。
2、大数据到底是什么?
- 维基百科定义:
- 大数据是指利用
常用软件工具
捕获、管理和处理数据所耗时间超过可容忍时间
的数据集。
3、大数据处理与传统数据处理的差异
4、为什么要建立大数据平台?
5、大数据平台开源架构-Hadoop
6、华为云大数据平台架构
大数据基本概念:(1)大数据4V特征(2)与传统数据处理区别
大数据平台概念及意义:打通数据壁垒,提升数据价值
大数据平台典型架构及产品:(1)开源Hadoop平台架构(2)华为云大数据平台架构
二、大数据技术框架及应用
1、大数据的应用场景
2、大数据应用流程框架
3、大数据技术平台框架
4、从数据供应到数据应用消费是一项系统性的工程
5、大数据的应用举例:导航软件红绿灯倒计时引导
6、大数据的应用举例:千人千面内容推荐
大数据的应用包括了5级应用场景。
大数据应用流程框架包括了数据采集、数据存储、数据计算、数据消费应用、数据的治理。
大数据的应用从供应到消费,涉及技术、能力、标准、流程、制度、管理等等环节,是一项系统性工程。