大数据基础知识【大数据导论】

各位大佬好 ,这里是阿川的博客,祝您变得更强

在这里插入图片描述 个人主页:在线OJ的阿川

大佬的支持和鼓励,将是我成长路上最大的动力在这里插入图片描述

阿川水平有限,如有错误,欢迎大佬指正在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

大数据基础知识前 必看
【大数据导论】—大数据序言
【大数据导论】—大数据、人工智能、云计算、物联网、区块链序言

目录

  • 大数据素养
  • 大数据基本知识

大数据素养

技术性内容

  • 采集
  • 处理
  • 储存
  • 分析
  • 技术
  • 工具
    在这里插入图片描述

非技术性内容

  • 大数据安全
  • 大数据伦理
  • 大数据思维
    在这里插入图片描述

大数据基本知识

在这里插入图片描述

  • 其中大数据交易
    买卖数据的活动,是以货币为媒介 获取数据商品的过程
    在这里插入图片描述
    数据商品三大特征

    • 处理后的数据才能交易
      在这里插入图片描述
    • 数据交易主体涉及众多
      在这里插入图片描述
    • 交易过程涉及多个产业链
      在这里插入图片描述
      大数据交易形式
      • 大数据交易公司
        在这里插入图片描述
      • 提供个人数据场所公司
        在这里插入图片描述
      • 数据交易所
        在这里插入图片描述
      • API模式
        用户提供接口允许用户对平台数据进行访问
        在这里插入图片描述
        大数据交易技术支撑
        在这里插入图片描述
        大数据交易发展现状
        在这里插入图片描述
        大数据数据来源
        • 政府公开数据
        • 企业内部数据
        • 数据供应方数据
        • 网页爬虫数据
          在这里插入图片描述
          大数据数据产品类型
          • API
          • 数据包
          • 云服务
          • 解决方案
          • 数据产品
          • 数据定制服务
            在这里插入图片描述
            大数据交易平台类型
            • 综合数据服务平台
              为用户提供定制化的服务,涉及数据的处理和加工
            • 第三方数据交易平台
              对交易过程进行监管,并提供数据出售、数据购买、数据供应方查询、数据需求发布等一系列服务
              在这里插入图片描述
              从运行角度划分
              • 政府主导的大数据交易平台
              • 企业以市场需求为导向建立的大数据交易平台
              • 产业联盟性质的大数据交易平台
                在这里插入图片描述
                大数据交易平台的运营模式
                数据中介数据处理加工功能的交易平台
                在这里插入图片描述
                只具备中介功能的交易平台
                在这里插入图片描述
  • 其中大数据思维
    在这里插入图片描述
    大数据思维主要指

    • 全样而非抽样
      在这里插入图片描述
      因为有了分布式储存和处理技术,从而可以对全部的数据进行分析而不是只能对小样本处理
    • 效率而非精确
      在这里插入图片描述
      处理数据时往往要"秒级"响应,所以效率往往是被关注的重点,分析的精确度达到一定的程度即可。
    • 相关而非因果
      在这里插入图片描述
      解释事物背后发展的机理
      预测未来可能发生事件
    • 以数据为中心
      在这里插入图片描述
      海量的数据进行计算,从而推测结果
    • 我为人人,人人为我
      在这里插入图片描述
      其中涉及
      • 数据采集
      • 数据处理
      • 信息发布
        在这里插入图片描述
  • 其中大数据安全
    重点关注数据

    • 保密性
    • 完整性
    • 可用性
      在这里插入图片描述
      大数据安全的隐患
      • 大数据成为网络攻击的显著目标
        在这里插入图片描述

      • 大数据加大隐私泄露风险
        在这里插入图片描述

      • 大数据技术被应用到攻击手段中
        在这里插入图片描述

      • 大数据成为高级可持续攻击的一个载体
        在这里插入图片描述
        大数据安全的变化

        • 静态安全到动态安全
          在这里插入图片描述
          大数据安全范围
          • 隐私和个人信息安全
            在这里插入图片描述
            其中包含个人的
            在这里插入图片描述
  • 其中大数据伦理

    • 个人信息被无形滥用
      在这里插入图片描述
    • 生活隐私被窥探利用
      在这里插入图片描述
    • 数据安全漏洞
      在这里插入图片描述
    • 数据垄断
      在这里插入图片描述
  • 其中数据共享
    不数据共享会导致

    • 数据孤岛
      政府和企业里各个部门各自储存数据,部门之间的数据无法共通,导致数据像各个孤岛一样缺乏关联性
      在这里插入图片描述
      数据共享意义
      • 对于政府\企业意义
        在这里插入图片描述
  • 其中数据开放
    数据开放三大理论
    在这里插入图片描述

好的,到此为止啦,祝您变得更强

在这里插入图片描述
想说的话

学习来源厦门大学林子雨老师的 《大数据导论》(反反复复学习了5遍哈并且做了相应的练习 然后才进行的这篇博客的书写)
实不相瞒,写的这篇博客要写五个小时以上(加上自己学习和纸质笔记,共七小时吧),很累希望大佬支持一下

在这里插入图片描述

道阻且长 行则将至
个人主页:在线OJ的阿川大佬的支持和鼓励,将是我成长路上最大的动力 在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/767362.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

旅游管理系统16021

摘 要 本文旨在设计和实现一个基于Spring Boot框架的旅游管理系统。该系统通过利用Spring Boot的快速开发特性和丰富的生态系统,提供了一个高效、可靠和灵活的解决方案。系统将实现旅游景点信息的管理、线路规划、跟团游玩、旅游攻略、酒店信息管理、订单管理和用户…

【C语言】inline 关键字

在C语言中,inline关键字用于建议编译器对函数进行内联展开,而不是像普通函数一样调用。内联函数的目的是减少函数调用的开销,特别是对于简单的、频繁调用的函数。 内联函数的定义和使用 定义内联函数 要定义一个内联函数,需要在…

PyTorch之nn.Module、nn.Sequential、nn.ModuleList使用详解

文章目录 1. nn.Module1.1 基本使用1.2 常用函数1.2.1 核心函数1.2.2 查看函数1.2.3 设置函数1.2.4 注册函数1.2.5 转换函数1.2.6 加载函数 2. nn.Sequential()2.1 基本定义2.2 Sequential类不同的实现2.3 nn.Sequential()的本质作用 3. nn.ModuleList参考资料 本篇文章主要介绍…

应用密码学—(扩展)欧几里得、DES、RSA、SHA-1算法

1. 欧几里得算法 1.1 分析算法的实现原理 欧几里德(Euclid)算法,也既常说的“辗转相除法”,公式为gcd(m, n) { return gcd(n, m%n); },对于任意两个正整数m、n,每次求的一个数字r m % n,然后把…

sideloadly 苹果自签和sidestore手机续签ipa记录

sideloadly 地址:https://sideloadly.io/#download 直接安装对应系统软件,然后吧ipa 拖到里面续签,缺点每7天需要电脑续签 如果续签保留数据需要对应的位置开启 enable file sharing 勾选 和 bundle id 修改 注意的地方需要电脑和手机appi…

无人机热成像分析图谱原理

一、热成像原理 热成像,也称为红外热成像或红外成像,是一种利用红外辐射(通常指的是热辐射)来获取物体表面温度分布信息的成像技术。在无人机上集成热成像传感器,可以远程捕获并分析目标物体的热特征,不受…

卸载node,下载nvm,下载node过程步骤及错误记录

网上有很多步骤,先跟着网上的步骤来: 卸载node和下载nvm步骤: window下安装并使用nvm(含卸载node、卸载nvm、全局安装npm)-CSDN博客 使用NVM下载和安装NodeJS教程-CSDN博客 出现的问题: 1.nvm配置sett…

ENVI5.6使用笔记

目录 1. ENVI安装扩展2. ENVI绘制高光谱3D数据立体图3. 对本次工作存档,下次打开软件可直接续档 1. ENVI安装扩展 从ENVI App Store下载商店envi_app_store.zip,解压得到ENVI_App_Store.sav,将其复制到ENVI的扩展文件夹下(例如E:…

中国桥梁空间分布数据

2020年中国桥梁空间分布数据,共包含102000余条数据。 数据属性表包括:地级市名、区县名、桥梁名称和经纬度。有shp和EXCEl两种格式数据。目前暂没有广西、广东和台湾三个省份数据。

【js】数组元素拼接、数组元素类型转换

一、数组元素拼接 二、数组元素类型转换 1、字符串数组 转换成 数字型数组 [1, 2, 3].map(Number) // [1,2,3] 2、数字型数组 转换成 字符串数组 [1, 2, 3].map(String) // [1, 2, 3]

干货:js解析url参数的作用、场景、方法和安全策略。

涉及到Web3D开发,Three.js和Babylon.js是两个备受推崇的引擎。它们都是基于WebGL的开源3D引擎,用于创建交互式的3D图形应用程序,但要细论起来,three.js普及度远超Babylon .js. 一、二者的介绍 Three.js: Three.js 是…

GitCode见证:华为云DevUI如何定义下一代前端开发

在当今快速发展的数字时代,前端开发已成为企业数字化转型的关键一环。随着用户对交互体验的期待不断增长,拥有一个强大、灵活且易于使用的前端解决方案变得至关重要。 DevUI的诞生,源于华为对研发工具的深入理解和长期积累,作为一…

【C++】开源:量化金融计算库QuantLib配置与使用

😏★,:.☆( ̄▽ ̄)/$:.★ 😏 这篇文章主要介绍量化交易库QuantLib配置与使用。 无专精则不能成,无涉猎则不能通。——梁启超 欢迎来到我的博客,一起学习,共同进步。 喜欢的朋友可以关注一下&#…

linux模拟aix盘19c单机asm安装补丁

linux模拟盘aix盘vi /etc/rc.d/rc.local/bin/ln /dev/sda /dev/rhdisk2/bin/ln /dev/sdb /dev/rhdisk3 /bin/chown grid:oinstall /dev/rhdisk*chmod 660 /dev/rhdisk* 一、19c安装GI(Standalone Oracle Restart) su - grid配置环境变量vi .profileex…

红酒与摄影:捕捉酒香与光影的交融

在摄影的世界里,每一个画面都是一段故事,每一束光线都是情感的载体。当红酒遇上摄影,两者之间的交融,仿佛开启了一场关于色彩、光影与情感的视觉盛宴。今天,就让我们一起探索红酒与摄影的奇妙结合,感受雷盛…

为什么我感觉 C 语言在 Linux 下执行效率比 Windows 快得多?

在开始前刚好我有一些资料,是我根据网友给的问题精心整理了一份「Linux的资料从专业入门到高级教程」, 点个关注在评论区回复“888”之后私信回复“888”,全部无偿共享给大家!!!Windows的终端或者叫控制台…

反射--通俗易懂

一、反射(Reflection) 反射就是:加载类,并允许以编程的方式解剖类中的各种成分(成员变量、方法、构造器等) 动态语言,是一类在运行时可以改变其结构的语言:例如新的函数、对象、甚至代码可以被引进,已有的函数可以被删除或是其他…

聊聊Redis持久化策略RDB

写在文章开头 为避免服务器宕机着情况导致redis内存数据库数据丢失,redis默认出通过rdb保证可靠性,本文将从源码的角度带读者了解rdb读写时机和写入流程。 Hi,我是 sharkChili ,是个不断在硬核技术上作死的 java coder &#xff…

【D3.js in Action 3 精译】1.1.3 D3.js 的工作原理

译者注 上一节我们探讨了 D3.js 的适用场景——需要高度定制化、可以尽情释放想象力的复杂图表。这一节我们再跟随作者的视角,看看 D3.js 的工作原理究竟是怎样的。 1.1.3 D3.js 的工作原理 您可能已经体验过 D3 并且发现它不太容易上手。这也许是因为您把它当成了…

c++边界处理机制

1.vector std::vector&#xff1a;std::vector 是动态数组&#xff0c;它会在运行时动态地调整存储空间大小&#xff0c;因此当访问超出边界时&#xff0c;会触发运行时异常 std::out_of_range。可以通过try-catch块来捕获这种异常来处理越界访问。 #include <iostream>…