HHU云计算期末复习(下)Hadoop、虚拟化技术、openstack

文章目录

  • 第五章 Hadoop
    • 分布式文件系统HDFS
    • 分离元数据和数据:NameNode和DataNode
    • 流水线复制
  • 第七章 虚拟化技术
    • 7.1 虚拟化技术简介
    • 7.2 虚拟机迁移
    • 7.3 网络虚拟化
  • 第八章 openstack
    • 8.1 计算服务Nova
      • RabbitMQ
    • 8.2 Swift
  • 第九章 云计算数据中心
    • 9.1 云数据中心特征
    • 9.2 网络部署(FaTree重点)
    • 9.3 绿色节能技术
    • 9.4 自动化管理
    • 9.5 容灾备份
  • 第十章 云计算核心算法
  • 第十一章 中国云计算发展概况
    • 11.1 国内发展概况
    • 11.2 国内云存储技术
    • 11.3 国产大数据库
    • 11.4 云监控技术
    • 11.5 阿里巴巴阿里云服务

所有记概念的知识点,还是要跟着书过一遍,有小标题的要记住小标题

改半开卷了,懒得写的很细了

下半部分跟着考点看就行,上半部分需要看的更多(不止考点)

这个up的一些相关文章写的很有趣,用的教材一样但是考点不一样的,有空余时间可看:知乎

第五章 Hadoop

https://chu888chu888.gitbooks.io/hadoopstudy/content/

Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在 Hadoop 的基础上进行分布式计算的编程,主要应用于大数据的处理。

Hadoop云计算系统Google云计算系统
Hadoop HDFSGoogle GFS
Hadoop MapReduceGoogle MapReduce
HBaseGoogle BigTable
ZooKeeperGoogle Chubby
PigGoogle Sawzall

分布式文件系统HDFS

多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题,这样的系统我们称之为分布式系统。 分布式文件系统是分布式系统的一个子集,它们解决的问题就是数据存储。换句话说,它们是横跨在多台计算机上的存储系统。存储在分布式文件系统上的数据自动分布在不同的节点上。

分离元数据和数据:NameNode和DataNode

Hadoop的一些基本概念

  • 存储到文件系统中的每个文件都有相关联的元数据。元数据包括了文件名、i节点(inode)数、数据块位置等,而数据则是文件的实际内容

  • 在传统的文件系统里,因为文件系统不会跨越多台机器,元数据和数据存储在同一台机器上。

  • 为了构建一个分布式文件系统,让客户端在这种系统中使用简单,并且不需要知道其他客户端的活动,那么元数据需要在客户端以外维护。HDFS的设计理念是拿出一台或多台机器来保存元数据,并让剩下的机器来保存文件的内容。

  • NameNode和DataNode是HDFS的两个主要组件。其中,元数据存储在NameNode上,而数据存储在DataNode的集群上。NameNode不仅要管理存储在HDFS上内容的元数据,而且要记录一些事情,比如哪些节点是集群的一部分,某个文件有几份副本等。它还要决定当集群的节点宕机或者数据副本丢失的时候系统需要做什么。

    • NameNode
      • NameNode是Hadoop守护进程中最重点的一个,Hadoop在分布式计算与分布式存储中都采用了主/从(Master/slave)结构.分布式存储系统被称为Hadoop文件系统,或简单称为HDFS.NameNode位于HDFS的主端,它指导DataNode执行底层的IO任务.
      • 运行NameNode消耗大量的内存与IO资源.因此,为了减轻机器的负载,驻留NameNode的服务器通常不会存储用户数据或者执行MapReduce程序的计算任务.这意味着NameNode服务器不会同时是DataNode或者TaskTracker.
      • 不过NameNode的重要性也带来一个负面影响-Hadoop集群的失效.
    • DataNode
      • 每一个集群上的从节点都会驻留一个DataNode守护进程,来执行分布式文件系统的繁重工作,将HDFS数据块读取或者写入到本地文件系统的实际文件中.当希望对HDFS文件进行读写时,文件被分割为多个块**,由NameNode告知客户端每个数据块驻留在那个DataNode**.客户端直接与DataNode守护进程通信,来处理与数据块相对应的本地文件.然而DataNode会与其他DataNode进行通信,复制这些数据块以实现冗余.
    • Secondary NameNode
      • SNN是一个监测HDFS集群状态的辅助守护进程,它通常独占一台服务器,该服务器不会运行其他DataNode或者TaskTracker守护进程.SNN与NameNode的不同在于它不接收或者记录HDFS的任何实时变化.相反它与NameNode通信,感觉集群所配置的时间间隔获取HDFS元数据的快照.
      • NameNode是Hadoop集群的单一故障点,而SNN的快照可以有助于减少停机的时间并降低数据丢失的风险.然而NameNode的失效处理需要人工的干预,即手动地重新配置集群,将SNN用作主要的NameNode.
  • 存储在HDFS上的每份数据片有多份副本(replica)保存在不同的服务器上。在本质上,NameNode是HDFS的Master(主服务器),DataNode是Slave(从服务器)。

  • 拓扑结构

  • 很形象的漫画:原理漫画

流水线复制

(DataNode会与其他DataNode进行通信,复制这些数据块以实现冗余)

在 Hadoop 分布式文件系统(HDFS)中,为了提高数据的可靠性,每个数据块(block)都会在多个 DataNode 上进行复制。在这个过程中,首先会选择一台 DataNode 进行复制,然后这个 DataNode 会将数据块传输给下一个 DataNode,这样形成一个复制的“流水线”。通过这种方式,数据块可以同时在多台 DataNode 上进行复制,大大提高了数据复制的速度,也减少了 NameNode 的负载。这就是 Hadoop 的流水线复制机制。

可以将这个流水线复制机制比作一个传送带上的工人,每个工人做完自己的工作后,就将物品传给下一个工人。在这个过程中,每个工人都可以同时工作,从而提高了工作效率。

第七章 虚拟化技术

7.1 虚拟化技术简介

  • 传统的数据中心vs虚拟数据中心

    • 传统的数据中心
      • 采用了多种技术
      • 业务之间孤立
      • 网络结构复杂
    • 虚拟数据中心
      • 高速
      • 扁平
      • 虚拟化
  • 虚拟化技术简介

  • 随着云计算的发展,传统的数据中心逐渐过渡到虚拟化数据中心,即采用虚拟化技术将原来数据中心的物理资源进行抽象整合。

    • 实现资源的动态分配和调度,提高现有资源的利用率和服务可靠性
    • 提供自动化的服务开通能力,降低运维成本
    • 具有有效的安全机制和可靠性机制,满足公众客户和企业客户的安全需求
    • 方便系统升级、迁移和改造

7.2 虚拟机迁移

一个主机包含不止一个虚拟机VM

  • 虚拟机迁移

    • 是将虚拟机实例从源宿主机迁移到目标宿主机,并且在目标宿主机上能够将虚拟机运行状态恢复到其在迁移之前相同的状态,以便能够继续完成应用程序的任务
  • 步骤

  • 虚拟机迁移主要分为三个阶段:Push阶段、Stop-and-Copy阶段和Pull阶段。

    1. Push阶段(1\2\3):在此阶段,源主机会预先传输虚拟机的内存页到目标主机,尤其是不经常修改的页,以减少实际停机时间。
    2. Stop-and-Copy阶段(4):在此阶段,源主机会暂停虚拟机,将剩余的内存页复制到目标主机,并将虚拟机的状态(包括处理器状态、设备状态等)发送给目标主机。
    3. Pull阶段(5\6):在此阶段,目标主机会从源主机拉取剩余的内存页。当这些页被拉取到后,目标主机便会启动迁移的虚拟机。

    内存的迁移是虚拟机迁移过程中最具挑战的部分,因为需要在保持数据一致性的同时,最小化虚拟机的停机时间。

    实际上,虚拟机迁移过程不必同时包含上述三个阶段。例如,根据实际情况和需求,可能只包含Push阶段和Stop-and-Copy阶段,或者只包含Stop-and-Copy阶段和Pull阶段,甚至只有单个阶段。具体策略的选择取决于虚拟机的运行状态、网络环境、应用需求等因素。

7.3 网络虚拟化

  • 要求

    • 核心层网络具备超大规模的数据交换能力
    • 足够的万兆接入能力
  • 核心层网络虚拟化的优势

    • 提供虚拟机箱技术
    • 简化设备管理
    • 提高资源利用率
    • 提高交换系统的灵活性和扩展性
    • 为资源的灵活调度和动态伸缩提供支撑

第八章 openstack

Google Cloud Platform (GCP)、Amazon Web Services (AWS)、Microsoft Azure,以及OpenStack都是云计算平台。这些平台提供了各种云服务,包括虚拟化的硬件资源(如计算、存储和网络)、以及高级服务(如数据库、机器学习、大数据分析等)。他们的主要目标是帮助用户在没有自己的物理硬件或数据中心的情况下,快速搭建和运行应用。

  1. 公有云提供商:Google Cloud Platform (GCP)、Amazon Web Services (AWS)、和Microsoft Azure等都是公有云提供商。他们提供各种云服务,包括基础设施即服务 (IaaS),平台即服务 (PaaS),和软件即服务 (SaaS)。公有云提供商通常会在全球的数据中心提供这些服务,用户可以按需支付,无需自己维护物理硬件。然而,使用公有云服务可能会导致用户在某种程度上失去对基础设施的控制,尤其是在安全性和合规性方面。
  2. OpenStack:OpenStack 是一种开源的云计算平台,主要提供 IaaS(基础设施即服务)解决方案。使用 OpenStack,用户可以在自己的数据中心或者私有云环境中搭建和管理云计算平台。因此,OpenStack用户可以对基础设施有完全的控制,包括数据的存储、计算资源的分配、网络结构的设计等。然而,使用 OpenStack 需要一定的技术能力和资源来安装、配置和维护。

OpenStack 是一种开源的云计算平台,它主要提供基础设施即服务(IaaS)。OpenStack 包含一系列的组件,每个组件负责处理云环境中的不同功能。

OpenStack有三个主要的服务成员:计算服务(Nova)、存储服务(Swift)、镜像服务(Glance)

8.1 计算服务Nova

Nova:Nova 是 OpenStack 的主要组件之一,负责计算服务。Nova 提供了虚拟机实例的创建、调度、管理等功能。它支持各种虚拟化技术,包括 KVM、Xen、VMware 等,同时也支持容器技术,如 Docker。

我将进一步解释OpenStack的Nova和Swift组件的主要组成部分。

  • Nova:Nova是OpenStack的计算组件,其主要任务是提供虚拟化服务,也就是运行和管理虚拟机。Nova的主要组件包括:
    1. API Server(Nova-Api):API Server对外提供一个与云基础设施交互的接口,也是外部可用于管理基础设施的唯一组件。负责处理API请求,比如启动、暂停和停止虚拟机等。
    2. Message Queue(Rabbit MQ Server):OpenStack节点之间通过消息队列(例如RabbitMQ)使用AMQP(Advanced Message Queue Protocol)完成通信。
    3. Compute Worker(Nova-Compute):Compute Worker管理实例生命周期,通过Message Queue接收实例生命周期管理的请求,并承担操作工作。这是运行在宿主机上的服务,用于启动和终止虚拟机实例。
    4. Network Controller(Nova-Network):Network Controller处理主机的网络配置,包括IP地址分配、为项目配置VLAN、实现安全组、配置计算节点网络。
    5. Volume Workers(Nova-Volume):Volume Workers用来管理基于LVM(Logical Volume Manager)的实例卷。Volume Workers有卷的相关功能,例如新建卷、删除卷、为实例附加卷、为实例分离卷。
    6. Scheduler(Nova-Scheduler):这个服务负责决定虚拟机实例运行在哪个宿主机上,即调度策略。

假设一个用户想要通过 OpenStack API 创建一个虚拟机实例:

  • 首先,用户的请求会被发送到 nova-apinova-api 是 OpenStack 对外的接口,负责接收和解析用户的请求。
  • nova-api 接收到创建虚拟机的请求后,会将请求放入 Message Queue 中。
  • nova-scheduler 会从 Message Queue 中获取请求,根据调度策略(例如负载均衡、资源优化等),选择一个最合适的宿主机来运行这个新的虚拟机实例。
  • 选择好宿主机后,nova-scheduler 会将请求和选定的宿主机信息一起放回到 Message Queue 中。
  • nova-compute 在相应的宿主机上运行,会从 Message Queue 中获取到请求,并在宿主机上启动虚拟机实例。
  • nova-conductor 负责在整个过程中处理与数据库相关的所有请求,包括更新虚拟机的状态、记录日志等。

RabbitMQ

**AMQP(Advanced Message Queuing Protocol)**是一个面向消息的中间件的开放标准应用层协议。RabbitMQ是AMQP协议的一个开源实现。AMQP的主要目标是提供可靠的信息传递,以确保在发送者和接收者之间的消息在传输过程中不会丢失。在AMQP中,有三个关键的组件:消息、队列和交换器。以下是对这些组件的详细介绍:

  1. 消息(Message):消息是在发送者和接收者之间传递的数据。每个消息都有一个头部和一个体。头部包含消息的属性和路由信息,体包含实际要发送的数据。

  2. 队列(Queue):队列是用于存储消息的缓冲区。每个队列都有一个名字,消费者应用程序可以通过名字来获取队列中的消息。队列可以是持久的、临时的或者自动删除的:

    • 持久队列:持久队列不会因为系统重启或者应用程序终止而消失。
    • 临时队列:临时队列存储在内存中,会随着系统的关闭而消失。
    • 自动删除队列:自动删除队列会在没有消费者连接到它时自动删除。
  3. 交换器(Exchange):交换器负责接收消息并且将消息转发给队列。交换器可以根据消息的路由信息,通过路由表将消息准确且安全地转发至相应的队列。每个交换器都有一个唯一的Exchange ID,交换器可以是持久的、临时的或者自动删除的:

    • 持久交换器:持久交换器不会因为系统重启或者应用程序终止而消失。
    • 临时交换器:临时交换器存储在内存中,会随着系统的关闭而消失。
    • 自动删除交换器:自动删除交换器会在没有绑定的队列时自动删除。

AMQP 定义了三种不同类型的交换器:

  • 广播式交换器(Fanout Exchange):将所有发送到此交换器的消息路由到所有与它绑定的队列。
  • 直接式交换器(Direct Exchange):将消息路由到 Binding Key 与 Routing Key 完全匹配的队列。
  • 主题式交换器(Topic Exchange):将消息路由到 Binding Key 与 Routing Key 符合某种模式匹配的队列。

另外,AMQP 中还有一个重要的概念是绑定(Binding)。绑定是交换器和队列之间的关系,通过 Binding Key,交换器知道应该把绑定(Binding) 的消息发给哪个队列。在创建绑定时,可以为它指定一个可选的 Binding Key。交换器根据这个 key 和自身的类型来决定如何路由消息。

8.2 Swift

Swift:Swift 是 OpenStack 的对象存储组件,负责存储和检索数据。Swift 使用分布式架构,数据可以在多个磁盘、主机甚至数据中心间进行复制,从而提供高可用性和容错性。Swift 特别适用于存储和分发大量的静态数据,如虚拟机映像、照片、电子邮件

Swift提供的服务与Amazon S3相同

Swift:Swift是OpenStack的对象存储组件,其主要任务是提供大规模的分布式存储服务。Swift的主要组件包括:

  • Proxy Server:接收来自用户的读写请求,并向其他Swift服务路由这些请求。

  • Storage Server:Storage Server提供了磁盘设备上的存储服务。

    • Account Server:管理用户账户的数据,记录用户存储的容器信息。
    • Container Server:管理容器,记录容器内对象的信息。
    • Object Server:管理实际存储的对象数据。
  • Ring:是Swift中用于数据定位和分布的机制,负责维护所有存储节点的状态,并决定数据的存放位置。

  • Consistency Servers:目的是查找并解决由数据损坏和硬件故障引起的错误。

假设用户想要在 OpenStack Swift 中存储一个文件:

  • 首先,用户的存储请求会发送到 Proxy ServerProxy Server 是用户和 Swift 系统之间的接口,负责接收用户的请求。
  • Proxy Server 收到请求后,会查阅 Ring 来确定应该将文件存储在哪些 Object Server 上。Ring 是 Swift 的数据定位和分布机制,负责维护所有存储节点的状态,并决定数据的存放位置。
  • 确定存储位置后,Proxy Server 会将文件传送给相应的 Object Server 进行存储。
  • 同时,Proxy Server 也会更新 Account ServerContainer Server 的信息。Account Server 管理用户账户的数据,记录用户存储的容器信息。Container Server 管理容器,记录容器内对象的信息。

这样,当用户下一次想要访问这个文件时,Proxy Server 就可以通过查询 RingAccount Server,和 Container Server 的信息来找到这个文件,并将其发送给用户。

  • 数据一致性模型(Consistency Model)
    • 在这个模型中,数据被复制到多个节点上以增加可用性和耐久性。当对数据进行读写操作时,可以调整读取(R)和写入(W)的副本数量,以达到不同级别的数据一致性。
    • N为数据的副本总数
    • W为写操作被确认接受的副本数量
    • R为读操作的副本数量
  • 强一致性
    • R+W >N,以保证对副本的读写操作会产生交集,因为至少有一个副本是同时参与了读和写操作的,所以可以保证读到的是最新版本的数据。
  • 弱一致性
    • R+W<=N,如果读写操作的副本集合不产生交集,就可能会读到脏数据

这意味着在某些情况下,你可能会在短时间内读取到旧的或者过期的数据。但是,随着时间的推移,所有的副本最终都会达到一致的状态。这种一致性模型为 Swift 提供了高可用性和容错性,因为即使在发生故障或者网络分区的情况下,Swift 依然可以提供读写服务。然而,这种一致性模型可能不适合需要强一致性的应用。

第九章 云计算数据中心

9.1 云数据中心特征

  • 高设备利用率
    • 采用虚拟化技术进行系统和数据中心整合,优化资源利用率、简化管理
  • 绿色节能
    • 通过先进的供电和散热技术,降低数据中心的能耗
  • 自动化管理
    • 云数据中心应是24x7小时无人值守并可远程管理的。
  • 高可用性
    • 当网络扩展或升级时,网络能够正常运行,对网络的性能影响不大。

9.2 网络部署(FaTree重点)

如果说云存储架构研究的是云存储系统内部,那么云存储的网络部署研究的则是系统外部——网络的体系结构,其中最主要的研究的就是交换机和交换机/服务器之间的线路问题。

改进树结构:这篇有胖树的讲解:云存储速学,看这两篇就够了(上)

  • 还有VL2架构:更类似于网状结构

  • 递归层次结构

    • 交换机与服务器都具有数据转发的功能
    • Dcell、FiConn、BCube
  • 光交换网络

  • 无线数据中心网络

  • 软件定义网络

9.3 绿色节能技术

  • 配电系统

    • a) 高压直流配电技术(转换级数比传统的少一级)
    • b) 市电直供配电技术(只经过两级电路转换)
  • 空调系统

    • 高温回风空调系统
    • 低能耗加湿系统
    • 自然冷空调系统
  • 集装箱节能技术主要特点与设计(重点)

    • 集装箱数据中心:将服务器、网络、空调、供电等设备高密度“挤”进集装箱,集装箱(作为一个模块)组成数据中心
    • 技术
      • a)缩短送风距离:因为“挤”,所以送风距离短
      • b)提高冷通道温度:冷水机组(一种制冷设备)不用把温度降得那么低,也就不那么耗电
      • c)冷/热通道完全隔离:类似上一点的原理
      • d)隔热保温材料:涂在集装箱上,冬天内部不结露,夏天外部热量进不来
      • e)Free Cooling功能:自然冷却代替冷却系统降
    • 特点
      • 非节能技术的特点)
      • a)高密度(指的是集装箱里面的设备)
      • b)模块化(指的是集装箱)
      • c)按需快速部署(指的是集装箱)
      • d)移动便捷(指的是集装箱)
  • 数据中心节能

    • DVFS节能技术
    • 基于虚拟化的节能技术
    • 基于主机关闭/开启的节能技术
  • 名词解释PUE

    • 数据中心能源利用率
    • PUE = 数据中心总能耗 / IT 装置能耗
    • 数据中心的全部能源都用于 IT 装置,这样 PUE 的值就会接近 1。但在实际情况中,数据中心还需要用能源来进行冷却、照明等操作,所以 PUE 的值通常会大于 1。
    • 越低越好

9.4 自动化管理

  • 自动化管理特征
    • 云自动化:按需分配和收回服务器、存储、网络、应用程序
    • 全面的可视性
    • 自动的控制执行
    • 多层次的无缝集成
    • 综合与实时的报告
    • 全生命周期支持

9.5 容灾备份

  • 对比
容灾能力做法区别服务特点
数据级容灾建立异地数据系统,实时复制应用数据,出现灾难时迅速接替业务出现灾难时会中断服务
应用级容灾建立异地数据系统,可与本地应用系统互为备份,共同工作出现灾难时不间断服务
  • 技术指标
指标解释
数据恢复点目标RPO业务系统所能容忍的数据丢失量
恢复时间目标RTO所能容忍的业务停止服务的最长时间
  • 关键技术
    • 远程镜像技术
    • 快照技术
    • 基于IP的SAN的远程数据容灾备份技术
    • 数据库复制技术

第十章 云计算核心算法

  1. Paxos:Paxos 是一种解决分布式系统中的共识问题的协议。共识问题是分布式系统中的关键问题之一,它涉及到如何在没有中心协调者的情况下,使得系统中的所有节点都能就某个值达成一致。Paxos 协议可以确保即使在系统中有节点发生故障的情况下,系统中的节点也能达成共识。

  2. DHT (分布式哈希表):DHT 是一种可以在没有中心协调者的情况下,实现高效的数据查找和存储的数据结构。在 DHT 中,数据项被分配到系统中的各个节点,每个节点负责一部分数据项。当需要查找某个数据项时,可以通过哈希函数直接定位到负责该数据项的节点。DHT 的主要优点是其查找效率高,且能够适应节点的加入和离开。

    1. https://zhuanlan.zhihu.com/p/166126098
  3. Gossip:Gossip(又称为流言协议或者传播协议)是一种信息传播的协议,常用于实现在大规模分布式系统中的信息传播和节点之间的一致性。Gossip 协议的工作方式类似于人类社会中的流言传播:每个节点会定期地与其他节点交换信息,通过多次交换,信息可以快速地在所有节点中传播开来。Gossip 协议的主要优点是其能够容忍节点的故障,并且当系统规模增大时,其通信开销不会显著增加。

第十一章 中国云计算发展概况

11.1 国内发展概况

四大趋势

  • 第一,随着云计算创新水平的不断提升,产业链上中下游整合趋势更加明显。
  • 第二,国内云计算应用市场进一步发展成熟,市场空间显著扩大。
  • 第三,云计算服务发展迅速,公共云服务和大型企业、机构内部的私有云建设与运维将成为重点。
  • 第四,云计算公共化程度将进一步提升。国内云计算应用市场进一步发展与成熟,市场空间显著扩大。

11.2 国内云存储技术

  • 淘宝分布式文件系统TFS

    • Taobao File System(TFS)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构建在普通的Linux机器集群上,可对外提供高可靠和高并发的存储访问。

    • 淘宝提供海量小文件存储

    • 采用了高容错架构和平滑扩容

      • 1)集群容错
        • TFS可以配置主辅集群,一般主辅集群会存放在两个不同的机房。
        • 主集群提供所有功能,辅集群只提供读。
      • 2)NameServer容错
        • Namserve负责维护Block列表和DataServer与Block之间的关系。
        • NameServer和DataServer之间也会有定时的heartbeat。
      • 3)DataServer容错
        • TFS采用Block存储多份的方式来实现DataServer的容错。
        • 对于每一个写入请求,必须在所有的Block写入成功时才算成功。
        • TFS对每一个文件会记录校验CRC
    • 扁平化的数据组织结构

  • A8000 的特性

    • A8000超低功耗云存储一体机

    • 优异性能、超低功耗、便捷管理、简单通用、超高密度、全面监控、高度可靠

    • 关键技术

      • A8000低功耗主板
      • 集中式直流供电
      • 集中式散热系统

11.3 国产大数据库

阿里巴巴OceanBase(有待补充

OceanBase主要是为了解决淘宝网的大规模数据而产生的,是一个支持海量数据的高性能分布式数据库系统,达到管理数千亿条记录的规模,支持在数百TB数据上跨行跨表事务并支持SQL操作。

  • 系统特点及优势
    • 主体数据在一段时间内保持相对稳定
    • 以内存保存增删改记录极大地提高了系统写事务的性能
    • 扩充UpdateServer内存即增加了内存中容纳的修改量
    • 动态数据服务器UpdateServer写commit log并采取双机(甚至多机)热备
    • OceanBase按主键的范围查询对应着连续的磁盘读

11.4 云监控技术

cVideo云视频监控系统

  • 云监控技术系统架构和关键技术

    • 架构
      • 前端设备
      • 处理服务器集群
      • 接入服务器
      • 存储服务器集群
      • 流媒体服务器
      • 中心服务器
      • 客户端
    • 关键技术
      • 基于分布式网络设计,支持多点超远距离实时高清视频监控
      • 支持大规模、多层级的监控系统
      • 支持海量视频数据备份
      • 采用先进的视频内容智能分析技术
  • 云监控技术应用(?)

    • 1.特定人物视频检索

    • 2.区域入侵检测

      • 运动目标检测的基础上延伸出来的一种检测报警应用功能,可以自动检测出监控视频中的预设防区内所出现的运动目标,如果检测到的运动目标及其行为符合预先设定的警戒条件,则自动进行抓拍、录像以及报警等关联性动作。
    • 3.车流量统计

      • 车流量统计是在视频智能分析技术——运动目标检测的基础上延伸出来的,采用“虚拟线圈”的方式自动检测出监控视频中所出现的车辆,并统计相应车道上的车辆进出数量。
      1. 火焰检测
      • 火焰检测功能可以自动对视频图像信息进行分析判断,及时发现监控区域内的火灾苗头,以最快、最佳的方式进行告警和提供有用信息,能有效地协助消防人员处理火灾危机。

11.5 阿里巴巴阿里云服务

  • 弹性计算服务(ECS)

    • 完全管理权限
    • API接口
    • 弹性内存
    • 快照备份与恢复
    • 自定义镜像
    • 在线迁移
  • 开放存储服务OSS

    • 弹性扩展
    • 大规模并发读写
    • 图片处理优化
  • 开放结构化数据服务OTS

    • 数据的海量存储
    • 简单易用的表管理
    • 数据的管理
  • 开放数据处理服务ODPS

    • 海量运算
    • 数据安全
    • 开箱即用
  • 关系型数据库RDS

    • 安全稳定,数据可靠
    • 自动备份,管理透明
    • 性能卓越,灵活扩容

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/33275.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【MySQL数据库】MySQL 高级SQL 语句一

[TOC](MySQL 高级SQL 语句 一、MySQL 高级SQL 语句1.1select -显示表格中一个或数个字段的所有数据记录1.2distinct不显示重复的数据记录1.3where有条件查询1.4and、or且 或1.5in 显示已知的值的数据记录1.6between 显示两个值范围内的数据记录1.7通配符&#xff0c;通常通配符…

一文了解云计算

目录 &#x1f34e;云服务 &#x1f34e;云计算类型 &#x1f352;公有云 &#x1f352;私有云 &#x1f352;混合云 &#x1f34e;云计算服务模式 &#x1f352;IaaS基础设施即服务 &#x1f352;PaaS平台即服务 &#x1f352;SaaS软件即服务 &#x1f352;三者之间区别 &…

回波数据adc_data.bin解析(附MATLAB程序)

毫米波雷达系统性能参数分析 1、xWR1642—DCA1000 TI目前有两款采集卡TSW1400和DCA1000&#xff0c;可以为xWR1243/1443和1642毫米波雷达进行回波数据采集。本文将主要介绍几款雷达分别用2款采集卡数据采集的回波数据格式以及MATLAB数据解析程序。 1、xWR1642—DCA1000 &…

打造专属个人模型-私有独立离线模型部署-阿里云GPU服务器配置

阿里云有免费的机器学习 GPU 服务器&#xff0c;免费试用活动页https://free.aliyun.com只要没有申请过 PAI-DSW 资源的新老用户皆可申请 5000CU 的免费额度&#xff0c;3个月内使用。 选择第一个进行立即试用 可以看到试用的界面 如果遇到下面的错误&#xff0c;当前账号没有权…

蓝桥杯专题-试题版-【数字游戏】【城市建设】【最大子阵】【蚂蚁感冒】

点击跳转专栏>Unity3D特效百例点击跳转专栏>案例项目实战源码点击跳转专栏>游戏脚本-辅助自动化点击跳转专栏>Android控件全解手册点击跳转专栏>Scratch编程案例点击跳转>软考全系列点击跳转>蓝桥系列 &#x1f449;关于作者 专注于Android/Unity和各种游…

基于SpringBoot+vue的职称评审管理系统设计与实现

博主介绍&#xff1a; 大家好&#xff0c;我是一名在Java圈混迹十余年的程序员&#xff0c;精通Java编程语言&#xff0c;同时也熟练掌握微信小程序、Python和Android等技术&#xff0c;能够为大家提供全方位的技术支持和交流。 我擅长在JavaWeb、SSH、SSM、SpringBoot等框架…

基于SpringBoot的家庭理财记账系统的设计与开发

1.引言 随着社会的发展&#xff0c;社会的方方面面都在利用信息化时代的优势。互联网的优势和普及使得各种系统的开发成为必需。 本文以实际运用为开发背景&#xff0c;运用软件工程原理和开发方法&#xff0c;它主要是采用java语言技术和mysql数据库来完成对系统的设计。整个…

CaffeineCache+Redis 接入系统做二层缓存思路实现(借鉴 mybatis 二级缓存、自动装配源码)

本文目录 前言本文术语本文项目地址设计思路开发思路DoubleCacheAble 双缓存注解&#xff08;如何设计&#xff1f;&#xff09;动态条件表达式&#xff1f;例如&#xff1a;#a.id?&#xff08;如何解析&#xff1f;&#xff09;缓存切面&#xff08;如何设计&#xff1f;&…

二十三种设计模式第十二篇--组合模式

组合模式是一种结构型设计模式&#xff0c;它允许将对象组合成树形结构来表示整体-部分的层次结构。组合模式使得用户对单个对象和组合对象的使用具有一致性。 在组合模式中&#xff0c;有两种类型的对象&#xff1a;叶子对象和组合对象。叶子对象表示树结构中的叶子节点&…

Matplotlib---雷达图

1. 雷达图 fig plt.figure(figsize(6, 6))x np. linspace(0, 2*np.pi, 6, endpointFalse) y [83, 61, 95, 67, 76, 88]# 保证首位相连 x np.concatenate((x, [x[0]])) y np.concatenate((y, [y[0]]))# 雷达图 axes plt.subplot(111, polarTrue) axes.plot(x, y, o-, l…

第十六届CISCN复现MISC——国粹

国粹 不是我说&#xff0c;我当时比赛的时候&#xff0c;在那里叭叭叭的数的老用心了结果他是一道非常不常规的图片密码题&#xff0c;又是一种我没见过的题型 看了一些大佬的解题&#xff0c;知道他是一个坐标类型的图片拼凑 发现很多都提到了opencv&#xff0c;又是一个知识…

考研算法32天:桶排 【桶排序】

算法介绍 桶排 举个例子&#xff0c;一个数组中的数是&#xff1a;4 1 2 3 5&#xff0c; 然后桶排的顺序是&#xff1a;将每个数应该在的下标算出来&#xff0c;咋算呢&#xff1f;这我们就得考虑两种情况&#xff1a;假设我们设现在这个需要找到自己在数组里位置的数是x。…

【计算机网络】IP 地址处理函数

目录 1.struct sockaddr_in的结构 2.一般我们写的结构 3.常见的“点分十进制” 到 ” uint32_t 的转化接口 3.1. inet_aton 和 inet_ntoa &#xff08;ipv4&#xff09; 3.2. inet_pton 和 inet_ntop (ipv4 和 ipv6&#xff09; 3.3. inet_addr 和 inet_network 3…

哈工大计算机网络课程传输层协议之:拥塞控制原理剖析

哈工大计算机网络课程传输层协议之&#xff1a;拥塞控制原理剖析 哈工大计算机网络课程传输层协议详解之&#xff1a;可靠数据传输的基本原理 哈工大计算机网络课程传输层协议详解之&#xff1a;流水线机制与滑动窗口协议 哈工大计算机网络课程传输层协议详解之&#xff1a;T…

【裸机开发】EPIT 定时器 —— 按键消抖

实际工程中&#xff0c;不能直接通过延时来消抖 ! 这里我们采用定时器来消抖&#xff0c;这也是内核处理消抖的一种方式。 目录 一、基本原理 1、延时消抖的弊端 2、定时器消抖原理 二、按键消抖实现 1、按键中断 2、定时器中断 三、附加&#xff1a;按键 / 定时器中断初…

Qgis加载在线XYZ瓦片影像服务的实践操作

目录 背景 一、XYZ瓦片相关知识 1、xyz瓦片金字塔 2、 瓦片编号 3、瓦片访问 二、在Qgis中加载在线地图 1、Qgis版本 2、瓦片加载 3、地图属性预览 总结 背景 在做电子地图应用的时候&#xff0c;很常见的会提到瓦片&#xff08;tile&#xff09;的概念&#xff0c;瓦片…

【MySQL】MVCC是如何解决快照读下的幻读问题的

文章目录 LBCC当前读 MVCC隐藏列undo logRead View 总结 我们从上文中了解到InnoDB默认的事务隔离级别是repeatable read&#xff08;后文中用简称RR&#xff09;&#xff0c;它为了解决该隔离级别下的幻读的并发问题&#xff0c;提出了LBCC和MVCC两种方案。其中LBCC解决的是当…

信号链噪声分析11

文章目录 概要整体架构流程技术名词解释技术细节小结 概要 提示&#xff1a;这里可以添加技术概要 如今的射频(RF)系统变得越来越复杂。高度的复杂性要求所有系统指标&#xff08;例如严格的 链接和噪声预算&#xff09;达到最佳性能。确保整个信号链的正确设计至关重要。而信…

如何了解(海外抖音TiKToK)与国内抖音的区别以及介绍

一、海外抖音TK平台的优势 自从抖音在中国大受欢迎后&#xff0c;海外也推出了海外版抖音TK平台。尽管两者都是视频分享平台&#xff0c;但它们在一些方面具有明显的区别和独特的优势。下面将详细介绍海外抖音TK平台的优势以及与国内抖音的区别性。 优势&#xff1a; 1. 多元…

三防工业平板在哪些行业中得到广泛应用?

随着科技的不断进步&#xff0c;工业平板正逐渐成为各行业中不可或缺的工具。其中&#xff0c;三防工业平板由于其卓越的耐用性和丰富的功能&#xff0c;在许多行业中得到了广泛的应用。本文将重点介绍三防工业平板在以下几个行业中的应用。 三防工业平板在物流行业中发挥着关键…