十一、了解分布式计算

1、什么是(数据)计算?

2、分布式(数据)计算

(1)概念

        顾名思义,分布式计算,即以分布式的形式完成数据的统计,得到需要的结果。

        分布式数据计算,顾名思义,就是“以多取胜”,如果一个问题使用一台计算机计算需要耗时1天,那我们就是用几百个数据节点来计算。

(2)我们为什么要使用分布式计算?

        在计算和处理数据时,我们为什么要使用分布式计算,不能用“计算器”来计算吗?

其实,使用什么方式来处理数据,并不是由我们决定的,是由数据本身决定的。

3、分布式(数据)计算模式

(1)基础模式

~分散——>汇总模式

        将一个数据分配给许多服务器,每一个服务器分配到一部分的数据,当它们将数据处理完成,将它们各自处理的数据结果向其中一台服务器进行汇报,由该台服务器做归纳总结。生活中的人口普查就是一个典型的例子。

~中心调度——>步骤执行模型

        将一个数据分配给许多服务器,每一个服务器分配到一部分的数据,由一台服务器进行调度,当该台服务器发出“第一阶段”的命令时,各个节点的服务器开始第一阶段数据的计算,在第一阶段数据计算完成后,各个节点之间相互交换数据,再开始第二阶段数据的计算,在最后一个阶段数据计算完成后,由主节点进行汇总结果。

        注意:

        在第一阶段数据计算结束后,各个节点之间需要交换数据,才能进行下一阶段的计算。

        相对于分散——>汇总模式,中心调度——>步骤执行模式,中间各个节点之间会进行交换数据,各个节点负责的数据是动态的,或者某个节点开启下一个阶段计算的要求,是另一个阶段该阶段的计算数据。如工作中的项目经理与项目成员就是一个典型的例子。

(2)常见框架

        hadoop系统中的MapReduce使用的就是分散——>汇总框架,但是大数据体系中的一些明星框架,使用的多是中心调度——>步骤执行模式,如Apache Spark,Apache Flink使用的就是中心调度——>步骤执行模式。

4、总结

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/232013.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

idea开发环境配置

idea重新安装后,配置的东西还挺多的,这里简单记录一下。 1、基础配置 1.1、主题、背景、主题字体大小 1.2、默认字体设置 控制台默认编码设置: 全局文件默认编码设置: 2、构建、编译、部署配置 说明:本地装了JD…

【Java基础篇 | 面向对象】—— 聊聊什么是接口(下篇)

个人主页:兜里有颗棉花糖 欢迎 点赞👍 收藏✨ 留言✉ 加关注💓本文由 兜里有颗棉花糖 原创 收录于专栏【JavaSE_primary】 本专栏旨在分享学习JavaSE的一点学习心得,欢迎大家在评论区交流讨论💌 上篇(【Ja…

学习Linux(1)-开始前的准备

一、Linux介绍 如图,“Linux的发行版说简单点就是将Linux内核与应用软件做一个打包”,所以,我们要学习Linux,就要选择一个趁手的应用软件,通常使用较多的有centerOs、Ubuntu。本文将基于centerOs6进行学习。 二、安装环境 使用Li…

认识线程和创建线程

目录 1.认识多线程 1.1线程的概念 1.2进程和线程 1.2.1进程和线程用图描述关系 1.2.2进程和线程的区别 1.3Java 的线程和操作系统线程的关系 2.创建线程 2.1继承 Thread 类 2.2实现 Runnable 接口 2.3匿名内部类创建 Thread 子类对象 2.4匿名内部类创建 Runnable 子类对…

SAP UI5 walkthrough step7 JSON Model

这个章节,帮助我们理解MVC架构中的M 我们将会在APP中新增一个输入框,并将输入的值绑定到model,然后将其作为描述,直接显示在输入框的右边 首先修改App.controllers.js webapp/controller/App.controller.js sap.ui.define([&…

教师需要什么技能?

作为一名老师,需要掌握许多技能,以便能够成功地教育和指导学生。以下是一些关键技能: 1.教学技能:老师需要有深入的学科知识和教学经验,以便能够有效地传授知识。教师应该了解如何设计和执行教学计划,制定课…

Java、JDK、JRE、JVM

Java、JDK、JRE、JVM 一、 Java 广义上看,Kotlin、JRuby等运行于Java虚拟机上的编程语言以及相关的程序都属于Java体系的一员。从传统意义上看,Java社区规定的Java技术体系包括以下几个部分: Java程序设计语言各种硬件平台上的Java虚拟机实…

JFrog----基于Docker方式部署JFrog

文章目录 1 下载镜像2 创建数据挂载目录3 启动 JFrog服务4 浏览器登录5 重置密码6 设置 license7 设置 Base URL8 设置代理9 选择仓库类型10 预览11 查看结果 1 下载镜像 免费版 docker pull docker.bintray.io/jfrog/artifactory-oss体验版: docker pull releas…

论文导读|10月MSOM文章精选:智慧医疗

编者按 在“10月MSOM文章精选:智慧医疗”中,我们有主题、有针对性地选择了MSOM期刊杂志中一些有关智慧医疗领域的有趣文章,不但对文章的内容进行了概括与点评,而且也对文章的结构进行了梳理,旨在激发广大读者的阅读兴趣…

vue预览pdf,放大缩小拖动,dialog拖动,父页面滚动

公共组件部分代码 main.js import draggable from /directive/drag/index Vue.use(draggable) pdf组件部分代码

1-3、Java反编译

语雀原文链接 文章目录 1、JD-GUI反编译下载1-1、打开class文件无反应 1、JD-GUI反编译下载 http://java-decompiler.github.io jd-gui-windows-1.6.6.zip 1-1、打开class文件无反应 目前是可以正常打jar包文件,但是在直接打开.class文件时软件会卡住。首先将要…

【ArcGIS Pro微课1000例】0051:创建数据最小几何边界范围(点、线、面数据均可)

本实例为专栏系统文章:创建点数据最小几何边界(范围),配套案例数据,持续同步更新! 文章目录 一、工具介绍二、实战演练三、注意事项一、工具介绍 创建包含若干面的要素类,用以表示封闭单个输入要素或成组的输入要素指定的最小边界几何。 工具界面及参数如下所示: 核心…

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks(2020)

文章目录 -Abstract1. Introductiondiss former methodour method 2. Related Work3. Compound Model Scaling3.1. 问题公式化3.2. Scaling Dimensions3.3. Compound Scaling 4. EfficientNet Architecture5. Experiments6. Discussion7. Conclusion 原文链接 源代码 - 本文中…

互联网数据传输原理 |OSI七层网络参考模型

网络模型 OSI 网络参考模型,仅作为参考,也就是说OSI网络实际中并不使用。我们只是把OSI网络模型作为参考,在网络出现问题的时候,可以从一个宏观的整体去分析和解决问题。而且搭建网络的时候也并不一定需要划分为7层 但是当今互联…

springcloud分布式事务

文章目录 一.为什么引入分布式事务?二.理论基础1.CAP定理2.BASE理论 三.Seata1.微服务集成Seata2.XA模式(掌握)3.AT模式(重点)4.TCC模式(重点)5.Saga模式(了解) 四.四种模式对比五.Seata高可用 一.为什么引入分布式事务? 事务的ACID原则 在大型的微服务项目中,每一个微服务都…

CPU的三大调度

计算机系统中的调度可以分为不同层次,包括作业调度、内存调度和进程调度。这三种调度分别负责管理和优化计算机系统中不同层次的资源分配和执行顺序。 高级调度:作业调度(Job Scheduling): 作业调度是指对提交到计算…

ubuntu上搭建bazel编译环境,构建Android APP

背景是github上下载的工程,说明仅支持bazel编译,折腾了一天Android studio,失败。 不得不尝试单价bazel编译环境,并不复杂,过程记录如下 说明:ubuntu环境是20.04,pve虚拟机安装 1.安装jdk sudo…

坚鹏:广发银行梅州分行银行数字化转型战略、方法与案例培训

广发银行成立于1988年,前身为广东发展银行,经国务院和中国人民银行批准,是国内首批组建的全国性股份制商业银行之一,2016年8月,广发银行成为中国人寿团成员单位,2021年成为首批国内系统重要性银行。2022年&…

Java解决矩阵对角线元素的和问题

Java解决矩阵对角线元素的和问题 01 题目 给你一个正方形矩阵 mat,请你返回矩阵对角线元素的和。 请你返回在矩阵主对角线上的元素和副对角线上且不在主对角线上元素的和。 示例 1: 输入:mat [[1,2,3],[4,5,6],[7,8,9]] 输出&#xff1a…

Ubuntu-rsyslog和systemd-journald日志服务

rsyslog日志服务 rsyslog作为传统的系统日志服务,把所有收集到的日志都记录到/var/log/目录下的各个日志文件中。 常见的日志文件如下: /var/log/messages 绝大多数的系统日志都记录到该文件 /var/log/secure 所有跟安全和认证授权等日志…