物联网技术-第5章-物联网数据处理

目录

1.物联网数据特征

2.物联网数据处理

(1)数据清洗

(2)数据存储

(3)数据融合

(4)数据挖掘

3.大数据基本概念

4.云计算基本概念

(1)背景

(2)模式

(3)分类 

(4)特征

(5)优势

(6)体系结构

(7)服务流程

5.致谢


1.物联网数据特征

(1)时序性:物联网数据是在时间序列上生成的,每个数据点都附带有时间戳,这有助于分析数据的时效性、完整性和一致性,并进行时间序列分析,发现数据中的趋势、周期性和异常。

(2)结构化:数据通常具有固定格式和类型,便于以表格或数据库形式存储管理。这些数据多为数值型(如温度、湿度测量值)或枚举型(如设备状态)。

(3)稀疏性:数据集中可能包含大量缺失值或无效值,源于传感器故障、网络问题等,需要预处理以确保数据分析的准确性。

(4)海量性:物联网系统生成的数据量极为庞大,要求高效的数据存储、压缩及传输技术以应对数据管理和分析的挑战。

(5)多样性:数据源自多种类型和功能的设备,不同设备的数据格式、精度、采集频率各异,需要数据融合与标准化处理。

(6)实时性:数据通常需要实时处理和分析,以支持快速决策和响应,这对数据处理系统的实时计算能力提出了高要求。

(7)数据源唯一性:每个采集点的数据源是唯一的,这有助于追踪数据源头并保证数据的准确性和可信度。

(8)极少更新或删除:一旦数据被记录,很少进行修改或删除操作,数据管理更侧重于新增和按期限淘汰。

(9)写多读少:操作模式上,数据写入频繁而读取相对较少,系统设计需优化写入性能。

(10)基于时间段和地理区域的查询:分析需求常聚焦于特定时间段或地理区域内的数据趋势,而非单一数据点。

(11)数据保留期限:数据通常按预定的保留策略定期删除,以管理存储资源。

(12)实时计算与统计:数据往往需要实时的统计和聚合处理,以支撑即时的业务洞察和决策。

(13)流量平稳:尽管数据量大,物联网数据流量相对平稳,可预测性较强,有利于资源规划。

2.物联网数据处理

物联网数据流程包括:数据清洗、数据存储、数据融合、数据挖掘、智能决策等步骤

(1)数据清洗

数据清洗(Data Cleaning) 是对数据进行审查和校验的过程, 目的在于删除重复信息、纠正存在的错误(处理无效值和缺失值)、 保证数据的一致性

(2)数据存储

数据存储(Data Storage) 是对信息(数据)进行 归档 整理 共享 的过程——将数据以某种格式记录在计算机内部或外部存储介质上。
常用的存储介质有:磁带、磁盘、光盘、U盘等。
MapReduce 是Google公司工程师Jeffrey Dean提出的处理大规模数据集(大于1TB)的 分布 式并行计算 编程模型,是Google云计算的核心技术
HDFS (Hadoop Distributed File System)是一种高度容错的 分布式文件系统模型 ,由Java语言开发实现。HDFS可以部署在任何支持Java运行环境的普通机器或虚拟机上,而且能够提供高吞入量的数据访问。
                        

(3)数据融合

数据融合(Data Fusion) 技术是指利用计算机对按时序获得的若干观测信息,在一定准则下加以自动分析、综合,以完成所需的决策和评估任务而进行的信息处理技术。
        

(4)数据挖掘

数据挖掘(Data Mining) 是指应用一定的分析方法,从大量数据中提取出一些有价值的信息和知识的过程。

3.大数据基本概念

大数据(Big Data)又称为巨量资料,指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
                                
大数据的“ 5V ”特征
大体量 (Volume):数据量达到数百TB到数百PB,甚至是EB的规模
多样性 (Variety):数据为各种格式与各种类型
时效性 (Velocity):数据需要在一定的时间限度下得到及时处理
准确性 (Veracity):处理结果要保证一定的准确性
大价值 (Value):分析挖掘的结果可以带来重大的经济效益与社会效益

4.云计算基本概念

(1)背景

互联网 使得人们对软件的认识和使用模式发生了潜移 默化的改变。计算模式的变革必将会带来一系列的挑战。
如何获取 海量的存储和计算资源
如何在互联网这个无所不包的平台上更 经济地运营 服务 ?
如何才能使互联网服务更加 敏捷 、更 随需应变 ?
如何让企业和个人用户更加 方便 、透彻地理解与运 用层出不穷的服务?
所有这些问题的答案就是--云计算!!!
在“云计算”中,用户所面对的不再是真实的 物理设备 ,不再是针对某一用户而设计,而是可以为多个用户(租户) 服务 。具体的计算环境、信息存储都在 云端

(2)模式

云计算是一种计算模式,它是将计算与存储资源、软件与应用作为服务,通过网络提供给用户
用户可以像使用水、电一样按需购买和使用云计算资源

(3)分类 

IaaS —基础设施即服务,只涉及到租用硬件,是一种最基础的服务
PaaS —平台即服务,已经从硬件的基础上,租用一个特定的操作系统与应用程序,来自
己进行应用软件的开发
SaaS —软件即服务,在云平台提供的定制软件上,直接部署自己的应用系统
云计算分类
分类服务类型运用的灵活性运用的难易程度
基础设施云 IaaS
接近原始的计算
存储能力
平台云 PaaS
应用的托管环境
应用云 SaaS
特定功能的应用

(4)特征

(5)优势

1.优化产业布局
云计算促使IT从以前那种自给自足的作坊模式, 转化为具有规模化效应的工业化运营,一些小规模的 单个公司专有的数据中心将被淘汰,取而代之的是规 模巨大而且充分考虑资源合理配置的大规模数据中心。
2.推进专业分工
云计算提供商普遍采用大规模数据中心,比中小 型数据中心更专,管理水平更高,提供单位计算所需 的成本更低廉; 同时,专业的云计算提供商可以有更多的科研和 经费投人来推动数据中心的技术革新。
3.提升资源利用率
4.减少初期投资
云计算帮助用户降低IT成本体现在两个方面:
第一,用户不再需要进行巨大的一次性IT投资,彻 底省去了购置、安装、管理软、硬件的费用,因为 可以从云计算提供商那里租用这些IT基础设施;
第二,用户在使用这些IT资源时,可以按照自己的 实际使用量付费 , 这种在类型和时间上更加细粒度 的计费模型将有助于用户进一步降低IT成本。
5.降低管理开销
在虚拟化技术的支持下,Web应用可以被 做成虚拟器件,当需要启动服务的时候,被快
速部署到云计算环境中; 当服务不再需要时,可以取消部署以释放占 用的资源。可见,云计算可以在软件和解决方 案等不同层次提供极大的灵活性与自动化。

(6)体系结构

(7)服务流程

物联网设备 深入人类生活各个角落,实现感知功能的大范围覆盖
云计算技术 利用高性能与大规模的服务器集群,实现对海量数据的快速处理
物联网云平台 作为物联网设备与云服务的桥梁,结合二者的优势,向下管理各种边缘设备、向上为云服务提供各种帮助

5.致谢

 后续会陆续更新分享物联网技术课程相关知识,大家可以关注留言哈!希望可以和大家一起学习物联网技术,感受物联网技术的魅力!作者水平有限,不足之处还请大家批评指正!希望能和大家一起进步哟

                        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​   

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/729161.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

leetcode 动态规划 (基础版) 下降路径最小和

题目: 题解: 这题和三角型路径和相似,但这题无法在像哪一题一样通过换一个方向逃避下标特判。所以这道题就写一个下标特判的方案。特殊的下标是每一行的第一个元素和最后一个元素,它们由头上的一个元素和左上和右上中的其中一个…

HTML(17)——圆角和盒子阴影

盒子模型——圆角 作用:设置元素的外边框为圆角 属性名:border-radius 属性值:数字px/百分比 也可以每个角设置不同的效果,从左上角顺时针开始赋值,没有取值的角与对角取值相同。 正圆 给正方形盒子设置圆角属性…

极验行为式验证码适配Harmony 鸿蒙SDK下载

现阶段,越来越多的开发者正在积极加入鸿蒙生态系统。随着更多开发者的参与,早在去年9月,极验就成为首批拥有鸿蒙NEXT内测版本和手机系统测试机会的验证码供应商。 为了提高各开发者及企业客户集成鸿蒙版本行为验4.0的效率,方便大家…

土壤墒情监测系统的工作原理

TH-TS600土壤墒情监测系统是一种能够实时、连续监测土壤湿度和水分状况的设备系统。以下是关于土壤墒情监测系统的详细介绍: 土壤墒情监测系统通常由以下几个部分组成:用于实时监测土壤湿度、温度等关键参数。传感器可以根据需要布置在不同的深度和位置…

OceanMind海睿思参与编写的《数据智能白皮书(2024年)》正式发布!

近日,由中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)牵头和组织,中新赛克海睿思作为TC601-WG16人工智能数据工作组合作伙伴参与编写的《数据智能白皮书(2024年)》正式发布。 中新赛克的卢云川、…

多波束测线问题

多波束测线问题 问题的背景是海洋测深技术,特别是涉及单波束测深和多波束测深系统。这些系统利用声波传播原理来测量水体深度。 单波束测深系统通过向海底发射声波信号并记录其返回时间来测量水深。该系统的特点是每次只有一个波束打到海底,因此数据分布…

秋招突击——6/17——复习{整理昨天的面试资料}——新作{删除链表倒数第n个节点}

文章目录 引言复习新作删除链表倒数第N个节点题目描述个人实现参考实现 总结 引言 主管面,面的很凄惨,不过无所谓了,我已经尽力了。上午都在整理的面经,没有复习算法,而且这两天要弄一下论文,二十号就要提…

小电流接地系统单向故障仿真分析

基于Matlab/simulink的小电流接地系统单向故障仿真分析,涵盖了中性点不接地系统仿真和中性点经消弧线圈接地系统仿真模型。 在电力系统中,接地方式的选择至关重要。小电流接地系统,也称为非有效接地系统,在发生单相接地故障时&am…

OSPF被动接口配置(华为)

#交换设备 OSPF被动接口配置 一、基本概念 OSPF被动接口,也称为抑制接口,即将路由器某一接口配置为被动接口后,该接口不会再接受和发送OSPF报文 二、使用场景 在路由器与终端相近或者直接相连的一侧配置被动接口 因为OSPF会定期发送报文…

方舟云康亏损收窄:三年近10亿销售成本,平均付费及月活仍大幅承压

《港湾商业观察》施子夫 三度递表后,终于通过聆讯,方舟云康控股有限公司(以下简称,方舟云康)有望近期内挂牌港交所。方舟云康的国内运营主体为广州方舟云康信息科技集团有限公司、广州方舟医药有限公司。 值得关注的是,亏损的难…

每日一题——Python代码实现PAT乙级1082 射击比赛(举一反三+思想解读+逐步优化)四千字好文

一个认为一切根源都是“自己不够强”的INTJ 个人主页:用哲学编程-CSDN博客专栏:每日一题——举一反三Python编程学习Python内置函数 Python-3.12.0文档解读 目录 我的写法 代码分析 代码步骤 时间复杂度分析 空间复杂度分析 总结 我要更强 时…

Redis精要

一、什么是缓存击穿、缓存穿透、缓存雪崩? 缓存穿透 【针对大量非法访问的请求,缓存中没有,直接访问DB】 缓存穿透指的查询缓存和数据库中都不存在的数据,这样每次请求直接打到数据库,就好像缓存不存在 一样。 对于系…

华测监测预警系统2.2 UserEdit.aspx SQL注入致RCE漏洞复现(CVE-2023-5827)

0x01 产品简介 华测监测预警系统2.2是一套针对地质灾害监测预警的科学、完善平台,实现了地质灾害防治管理的科学化、信息化、标准化和可视化。该系统由上海华测导航技术有限公司开发,主要服务于山体滑坡、地裂缝等地质灾害的自动化预警。 0x02 漏洞概述 华测监测预警系统2…

Linux 之内存管理 -free 和 RSS/RES的意义

一、free -h 计算关系: available free buff/cache total used availbleshared 参数 说明 total 总计物理内存的大小 used 已使用的物理内存的大小 free 可用物理内存有多少 shared 多个进程共享的内存总额 buff/cache 写入和读取 磁盘内存缓冲区的大小 avail…

ECharts 雷达图案例001-自定义节点动画

ECharts 雷达图案例001-自定义节点动画 引言 在数据可视化的领域中,ECharts 提供了一种强大的工具来展示多维数据。本文将介绍如何使用 ECharts 创建一个自定义节点样式的雷达图,让数据展示更加生动和个性化。 效果预览 通过自定义节点样式&#xff…

进军韩国5G市场!移远通信5G模组RG500L-EU率先获得KT、LGU+认证

近日,移远通信工规级5G模组RG500L-EU再传喜讯,率先通过了韩国两大运营商KT和LGU的严格认证。​在此之前,该模组已顺利通过KC认证(韩国法规认证),此次再获运营商认证表明,RG500L-EU已完全满足韩国…

服务器权限管理

我们linux服务器上有严格的权限等级,如果权限过高导致误操作会增加服务器的风险。所以对于了解linux系统中的各种权限及要给用户,服务等分配合理的权限十分重要。(权限越大,责任越大) 1.基本权限 U--user用户,G-group…

AI技术+前端的结合(实现图片识别功能)

随着人工智能技术的不断发展,AI在前端设计页面中的应用变得越来越普遍。比如:在电商平台上,可以利用对象检测技术实现商品的自动识别和分类;人脸识别;车辆检测;图片识别等等......其中一个显著的应用是在图…

Python-面向对象编程(超详细易懂)

面向对象编程(oop) 面向对象是Python最重要的特性,在Python中一切数据类型都是面向对象的。 面向对象的编程思想:按照真实世界客观事物的自然规律进行分析,客观世界中存在什么样的实体,构建的软件系统就存在…

Spring自定义标签体系和应用

我们知道&#xff0c;在使用Dubbo框架时&#xff0c;需要指定配置文件中的application、protocol、registry、provider、service等服务器端和客户端的配置项&#xff0c;典型的配置方法如下所示。通过这些配置项&#xff0c;我们可以基于Spring容器来启动Dubbo服务。 <!-- …