【人工智能】大数据平台技术及应用

文章目录

  • 前言
  • 一、大数据平台基本概念及发展趋势
    • 1、数据量爆发式增长,发数据蓬勃发展
    • 2、大数据到底是什么?
    • 3、大数据处理与传统数据处理的差异
    • 4、为什么要建立大数据平台?
    • 5、大数据平台开源架构-Hadoop
    • 6、华为云大数据平台架构
  • 二、大数据技术框架及应用
    • 1、大数据的应用场景
    • 2、大数据应用流程框架
    • 3、大数据技术平台框架
    • 4、从数据供应到数据应用消费是一项系统性的工程
    • 5、大数据的应用举例:导航软件红绿灯倒计时引导
    • 6、大数据的应用举例:千人千面内容推荐


前言

  • 掌握大数据平台的基本概念和特征
  • 了解大数据平台架构
  • 了解大数据平台技术发展趋势
  • 了解大数据的应用场景
  • 掌握大数据的应用框架

一、大数据平台基本概念及发展趋势

1、数据量爆发式增长,发数据蓬勃发展

  • 我国网民数量居世界之首,每天产生的数据量也位于世界前列。

  • 中央政府多次指出数据的重要性。

在这里插入图片描述

2、大数据到底是什么?

  • 维基百科定义:
  • 大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。

在这里插入图片描述

3、大数据处理与传统数据处理的差异

在这里插入图片描述

4、为什么要建立大数据平台?

在这里插入图片描述

5、大数据平台开源架构-Hadoop

在这里插入图片描述

6、华为云大数据平台架构

在这里插入图片描述

大数据基本概念:(1)大数据4V特征(2)与传统数据处理区别

大数据平台概念及意义:打通数据壁垒,提升数据价值

大数据平台典型架构及产品:(1)开源Hadoop平台架构(2)华为云大数据平台架构

二、大数据技术框架及应用

1、大数据的应用场景

在这里插入图片描述

2、大数据应用流程框架

在这里插入图片描述

3、大数据技术平台框架

在这里插入图片描述

4、从数据供应到数据应用消费是一项系统性的工程

在这里插入图片描述

5、大数据的应用举例:导航软件红绿灯倒计时引导

在这里插入图片描述

6、大数据的应用举例:千人千面内容推荐

在这里插入图片描述


大数据的应用包括了5级应用场景。

大数据应用流程框架包括了数据采集、数据存储、数据计算、数据消费应用、数据的治理。

大数据的应用从供应到消费,涉及技术、能力、标准、流程、制度、管理等等环节,是一项系统性工程。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/930626.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Word中的公式域

在WORD操作中,遇到数学公式时,我们往往都要通过公式编辑器来录入,其实,除了公式编辑器以外,在Word中还有一个编辑公式的利器:域。有了这个工具,应付一般的数学公式编辑还是绰绰有余的。 公式域的…

2.STM32通信接口之SPI通信---SPI实战《精讲》

SPI仅支持一主多从(无应答机制) 参照:《第十一部分》1.STM32通信接口之SPI通信---SPI介绍《精讲》-CSDN博客 在采用一主多从的模式下。从机未被选中,SN1时,从机的MISO会处于高阻态状态,SN0时,M…

电子电气架构 --- E/E(电子电气架构)的重新定义

我是穿拖鞋的汉子,魔都中坚持长期主义的汽车电子工程师。 老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师: 所谓鸡汤,要么蛊惑你认命,要么怂恿你拼命,但都是回避问题的根源&…

小身躯大能量-供热系统通过EtherCAT转Profinet网关进行升级

在现代工业自动化领域,通信技术的进步对于提高系统效率、稳定性和可靠性起着至关重要的作用。EtherCAT(Ethernet for Control Automation Technology)作为一种实时以太网解决方案,因其高性能及成本效益高等特点,在众多…

buuctf:镜子里面的世界

查看图片属性以及010没有发现任何有用的信息 图片名字是steg.png,用stegsolve试试 flag{st3g0_saurus_wr3cks}

brpc的接口使用和封装

brpc 是用 c语言编写的工业级 RPC 框架,常用于搜索、存储、机器学习、广告、推荐等高性能系统。 brpc的远程调用思想;将数据处理的过程不在放在本地进行,而是放在服务器中去 接口使用 客户端和服务端的使用 服务端: 1.继承Echo…

.NET MAUI与.NET for Android/IOS的关系

2024年11月13日微软发布了.Net9.0,我打算体验一下。安装好.Net9.0 SDK后发现Visual Studio识别不到9.0,但是通过命令行dotnet --info查看是正常的,后面看到了VS有版本可以升级,把VS升级到17.12.0就可以了。更新完打开以后看到如下界面 这里…

聚焦 Facebook 隐私安全,守护用户数字家园

随着数字技术的飞速发展,社交媒体已成为我们生活中不可或缺的一部分,而隐私与安全的问题也愈加突出,特别是在 Facebook 这样拥有全球数十亿用户的平台上。如何有效地保障用户隐私,守护用户的数字家园,已成为社会各界关…

Linux C/C++编程的线程创建

【图书推荐】《Linux C与C一线开发实践(第2版)》_linux c与c一线开发实践pdf-CSDN博客《Linux C与C一线开发实践(第2版)(Linux技术丛书)》(朱文伟,李建英)【摘要 书评 试读】- 京东图书 (jd.com…

Gitee上获取renren-fast-vue install并run dev错误处理

目的:获取一个手脚架、越简约越好、越干净越好、于是看上了renren-fast-vue… 前端:vue2 后端:jdk1.8 mysql 5.7 SpringBoot单体架构 一开始只是下载前后端项目到本地,一堆乱七八糟的错误,网上找的资料也参差不齐… …

线程和进程(juc)

线程 一:概念辨析 1:线程与进程 进程: 1:程序由指令和数据组成,指令要执行,数据要读写,就需要将指令加载给cpu,把数据加载到内存,同时程序运行时还会使用磁盘&#x…

五、docker的网络模式

五、docker的网络模式 5.1 Docker的四种网络模式 当你安装docker时,它会自动创建三个网络,可使用如下命令查看: [rootlocalhost ~]# docker network ls NETWORK ID NAME DRIVER SCOPE 7390284b02d6 bridge bridge lo…

【AWS re:Invent 2024】一文了解EKS新功能:Amazon EKS Auto Mode

文章目录 一、为什么要使用 Amazon EKS Auto Mode?二、Amazon EKS自动模式特性2.1 持续优化计算成本2.2 迁移集群操作2.3 EKS 自动模式的高级功能 三、EKS Auto 集群快速创建集群配置四、查看来自 API 服务器的指标五、EKS 相关角色权限设置六、参考链接 一、为什么…

数据结构——有序二叉树的删除

在上一篇博客中,我们介绍了有序二叉树的构建、遍历、查找。 数据结构——有序二叉树的构建&遍历&查找-CSDN博客文章浏览阅读707次,点赞18次,收藏6次。因为数据的类型决定数据在内存中的存储形式。left right示意为左右节点其类型也为…

git pull error: cannot lock ref

Git: cannot lock ref ‘refs/remotes/origin/feature/xxx’: refs/remotes/origin/feature/xxx/car’ exists; cannot create refs/remotes/origin/feature/xxx git remote prune origin重新整理服务端和本地的关联关系即可

树与图深度优先遍历——acwing

题目一:树的重心 846. 树的重心 - AcWing题库 分析 采用暴力枚举,试探每个点,除去之后,连通分量最大值是多少, 各个点的最大值找最小的 因为可以通过 dfs 来得到 根u以下点数,以及可以求各分树的点数&am…

ultralytics-YOLOv11的目标检测解析

1. Python的调用 from ultralytics import YOLO import os def detect_predict():model YOLO(../weights/yolo11n.pt)print(model)results model(../ultralytics/assets/bus.jpg)if not os.path.exists(results[0].save_dir):os.makedirs(results[0].save_dir)for result in…

图形开发基础之在WinForms中使用OpenTK.GLControl进行图形绘制

前言 GLControl 是 OpenTK 库中一个重要的控件,专门用于在 Windows Forms 应用程序中集成 OpenGL 图形渲染。通过 GLControl,可以轻松地将 OpenGL 的高性能图形绘制功能嵌入到传统的桌面应用程序中。 1. GLControl 的核心功能 OpenGL 渲染上下文&…

Facebook广告文案流量秘诀

Facebook 广告文案是制作有效 Facebook 广告的关键方面。它侧重于伴随广告视觉元素的文本内容。今天我们的博客将深入探讨成功的 Facebook 广告文案的秘密! 一、广告文案怎么写? 正文:这是帖子的正文,出现在您姓名的正下方。它可…

java面向对象实验——扫雷+24点

扫雷 窗口绘制: GameWin package com.sxt;import javax.swing.*;public class GameWin extends JFrame {void launch(){this.setVisible(true);this.setSize(500, 500);this.setLocationRelativeTo(null);this.setTitle("SWE23070扫雷游戏");this.setD…