大数据数据分析-scala、IDEA、jdk之间的搭配关系

Scala主要是一门面向对象编程语言和函数式编程语言。

一、大数据框架(处理海量/流式数据)

-        ---以HADOOP 2. x为系列的大数据生态系统处理框架

                离线数据分析,分析的数据为N+1天数据

        -----MapReduce

              并行计算框架,分而治之

  •                    - HDFS(存储数据)
    •            - YARN(分布式的集群资源管理和任务调度框架)

        ----Hive

                基于SQL处理框架,将SQL转换为MapReduce,处理存储在HDFS上的数据,并且运行在YARN上。

        -----SQOOP

        桥梁:RDBMS(关系型数据库)-HDFS/HIVE 导入导出

        ----HBASE

                大数据分布式数据库

                     与MapReduce进行集成,可以读取数据进行分析处理,

                       也可能将分析结果存储到HBase表中。

        -----以storm为体系实时流式数据处理框架

                数据实时产生 ->进行实时处理

                应用场景:

                        实时交通监控,电商营业额,双十一

        -----以spark为体系的大数据处理框架

                内存

                        将处理数据过程中的中间结果数据,存放到内存中

                        核心编程(基础编程)

  •                                 sparkCore
  •                                 SparkSQL
  •                                 SparkSteaming

                         高级编程

                                        机器学习/深度学习/人工智能

  •                                         SparkGraphx
  •                                         SparkMLlib
  •                                         Spark on R

 二、Scala下载

Scala官网: The Scala Programming Languageicon-default.png?t=N7T8https://www.scala-lang.org/

虚拟机镜像

Index of /centos-vault/7.6.1810/isos/x86_64/ | 清华大学开源软件镜像站 | Tsinghua Open Source MirrorIndex of /centos-vault/7.6.1810/isos/x86_64/ | 清华大学开源软件镜像站,致力于为国内和校内用户提供高质量的开源软件镜像、Linux 镜像源服务,帮助用户更方便地获取开源软件。本镜像站由清华大学 TUNA 协会负责运行维护。icon-default.png?t=N7T8https://mirrors.tuna.tsinghua.edu.cn/centos-vault/7.6.1810/isos/x86_64/scala环境安装:

IntelliJ IDEA 2022.3版本支持多个Scala和JDK版本。以下是一些常见的Scala和JDK版本组合,适用于IntelliJ IDEA 2022.3:

  1. Scala 2.13.x与JDK 8、JDK 11或JDK 17:这是目前最新的Scala稳定版本,与多个JDK版本兼容。
  2. Scala 2.12.x与JDK 8或JDK 11:Scala 2.12.x是较旧的Scala版本,但仍然在许多项目中广泛使用。

--1,JAVA环境安装

        JAVA_HOME

        PATH

--2,SCALA环境安装

        SCALA_HOME

        PATH

--3,IDEA安装

        不同的idea版本对应不同的scala和jdk

三、SCALA中变量的声明

---val   value 简写,表示的意思为 值

           value name = "zhangsan"

           不可变

在SCALA语言中,variableType Inference,自动推断

当然也可以指定变量的类型,类型紧跟变量名后面,并使用分号隔开

val  xx : String = "xxx"

--var  variable简写,表示变量,可以改变的值

1.变量和常量
常量:在程序执行的过程中,其值不会被改变的变量 。

Java 与Scala变量和常量语法对比

Java

变量类型 变量名称 = 初始值
final 常量类型 常量名称 = 初始值
Scala

var 变量名 [: 变量类型] = 初始值

val 常量名 [: 常量类型] = 初始值

 2.键盘输入

在编程中,需要接收用户输入的数据,就可以使用键盘输入语句来获取。

直接无缝衔接使用Java的键盘输入 —— Scanner

使用Scala提供的自带的键盘输入 —— StdIn.readxxx()

基本语法

  • StdIn.readLine()
  • StdIn.readShort()
  • StdIn.readDouble()

3.关键字说明

  1. package: 包,等同于java中的package
  2. object:关键字,声明一个单例对象(伴生对象)
  3. main方法:从外部可以直接调用执行的方法
  4. def 方法名称 ( 参数名称 : 参数类型 ) : 返回值类型 = { 方法体 }

Scala 完全面向对象,故scala去掉了Java中非面向对象的元素,如static关键字,void类型
1) static
scala无static关键字,由object实现类似静态方法的功能(类名.方法名)
class关键字和Java中的class关键字作用相同,用来定义一个类
2) void
对于无返回值的函数,scala定义其返回值类型为Unit类型

四、 For循环控制

基本语法:

// java for循环语法
for(int i = 0; i < 10; i++){
    System.out.println("i=" + i);
}
 
// scala for循环语法
for(i <- 1 to 10){
    println("i=" + i)
}
// 输出:从1~10(包含 1 和 10 )
4.1范围数据循环(Until)

1)基本语法

// 方法一:
for(i <- 1 until 10) {
    print("i=" + i)
}
// 输出:从1~10(包含 1,不包含 10 )
 
// 方法二:
for(i <- Range(1,10)) {
    print("i=" + i)
}
4.2循环守卫
 基本语法:
for(i <- 1 to 3 if i != 2){
   print(i + " ")
}
4.3循环步长by

2)基本语法:

    for(i <- 1 to 10 by 2){
      print("i=" +i)
    }
 4.4嵌套循环

3)基本语法:

    //  嵌套循环
    for(i <- 1 to 3;j <- 1 to 3) {
      println("i=" +i+ "j=" +j)
    }
4.5引入变量
    //  引入变量
    for(i <- 1 to 3; j = 4 - i){
      println("i=" + i + "j=" +j)
    }
//    等价于
    for(i <- 1 to 3) {
      var j = 4 - i
      println("i=" + i + "j=" +j)
    }
4.6循环返回值
    val res = for (i <- 1 to 10) yield i
    println(res)
    //  需求:将原数据中所有值乘以2,并把数据返回到一个新的集合中。
    var res_l = for (i <- 1 to 10) yield {
      i * 2
    }
    println(res_l)

五、函数

1)函数可以作为值进行传递

    def f(n: Int): Int = {
      println("f调用")
      n + 1
    }

    //  调用f(123),返回值124,将返回值赋给val变量result
    var result: Int = f(123)
    println(result)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/464144.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

C语言基础数据结构——栈和队列

目录 1.栈 1.1栈的选型 1.2 实现代码 2.队列 2.1整体思路 2.2初始化和销毁 2.3出入队列 2.4取队列元素 2.5判断队列是否为空 2.6返回队列中元素个数 2.7 Test 1.栈 栈&#xff1a;一种特殊的线性表&#xff0c;其只允许在固定的一端进行插入和删除元素操作。 进行数…

Docker入门二(应用部署、迁移与备份、DockerFile、docker私有仓库、Docker-Compose)

文章目录 一、应用部署1.MySQL部署2.Redis部署3.Nginx部署 二、迁移与备份1.容器做成镜像2.镜像备份和恢复(打包成压缩包&#xff09; 三、DockerFile0.镜像从哪里来&#xff1f;1.什么是DockerFile2.DockerFile 构建特征3.DockerFile命令描述4.构建一个带vim的centos镜像案例5…

Oracle Primavera Analytics 是什么,与P6的关系?

前言 Oracle Primavera P6 Analytics 是与P6有关的一个相对较新的模块&#xff0c;Primavera 用户社区在很大程度上尚未对其进行探索。 那么它到底有什么作用呢&#xff1f; 通过了解得知它旨在通过深入了解组织的项目组合绩效&#xff0c;帮助高级管理层对其项目组合做出更好…

【开源】SpringBoot框架开发就医保险管理系统

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 科室档案模块2.2 医生档案模块2.3 预约挂号模块2.4 我的挂号模块 三、系统展示四、核心代码4.1 用户查询全部医生4.2 新增医生4.3 查询科室4.4 新增号源4.5 预约号源 五、免责说明 一、摘要 1.1 项目介绍 基于JAVAVue…

MySQL | 表的约束

目录 1. 空属性 NULL 2. 默认值 DEFAULT 3. 列描述comment 4. zerofill 5. 主键 PRIMARY KEY 6. 自增长AUTO_INCREMENT 7. 唯一键UNIQUE 8. 外键 真正约束字段的是数据类型&#xff0c;但是数据类型约束很单一&#xff0c;需要有一些额外的约束&#xff0c;更好的保证数…

VS2019加QT5.14中Please assign a Qt installation in ‘Qt Project Settings‘.问题的解决

第一篇&#xff1a; 原文链接&#xff1a;https://blog.csdn.net/aoxuestudy/article/details/124312629 error:There’ no Qt version assigned to project mdi.vcxproj for configuration release/x64.Please assign a Qt installation in “Qt Project Settings”. 一、分…

AG32 MCU以太网应用实例demo

一. 前言 AGM32系列32位微控制器旨在为MCU用户提供新的自由度和丰富的兼容外设&#xff0c;以及兼容的引脚和功能。AG32F407系列产品具有卓越的品质&#xff0c;稳定性和卓越的价格价值。 AG32产品线支持其所有接口外设尽可能接近主流兼容性&#xff0c;并提供丰富的参考设计…

机器人路径规划:基于深度优先搜索(Depth-First-Search,DFS)算法的机器人路径规划(提供Python代码)

一、深度优先搜索算法介绍 深度优先搜索算法&#xff08;Depth-First-Search&#xff09;的基本思想是沿着树的深度遍历树的节点&#xff0c;尽可能深的搜索树的分支。当节点v的所有边都己被探寻过&#xff0c;搜索将回溯到发现节点v的那条边的起始节点。这一过程一直进行到已…

代码学习记录21--回溯算法第二天

随想录日记part21 t i m e &#xff1a; time&#xff1a; time&#xff1a; 2024.03.16 主要内容&#xff1a;今天主要是结合类型的题目加深对回溯算法的理解&#xff1a;1&#xff1a;组合总和&#xff1b;2&#xff1a;电话号码的字母组合 216.组合总和III17.电话号码的字母…

维基百科推广秘诀13个方法助你成为行业领导者-华媒舍

维基百科&#xff08;Wikipedia&#xff09;作为全球最大、最权威的在线百科全书&#xff0c;拥有海量的知识内容&#xff0c;被广大用户广泛使用。对于任何一个领域的从业者来说&#xff0c;建立自己的维基百科页面&#xff0c;无疑是提升行业影响力的重要手段。本文将向您介绍…

LEETCODE 100255. 成为 K 特殊字符串需要删除的最少字符数

整体思路: 1.可以看到这道题是要求是最小的&#xff0c;那么可以想到遍历所有情况 2.把题干已知条件转换为一个数组&#xff0c;那么只需要以数组每个元素为开头遍历所有情况即可。 3.对于一个数考虑其后面的情况&#xff0c;其后每个数等于这个数k和数本身的最小值(遍历累计求…

【C语言】指针基础知识(一)

计算机上CPU&#xff08;中央处理器&#xff09;在处理数据的时候&#xff0c;需要的数据是在内存中读取的&#xff0c;处理后的数据也会放回内存中。 一,内存和地址 内存被分为一个个单元&#xff0c;一个内存单元的大小是一个字节。 内存单元的编号&#xff08;可以理解为门…

Ypay源支付2.8.8免授权聚合免签系统

本帖最后由 renleixiaoxu 于 2024-3-15 09:46 编辑 产品介绍 XPay是专为个人站长打造的聚合免签系统&#xff0c;拥有卓越的性能和丰富的功能。采用全新轻量化的界面UI&#xff0c;让您可以更加方便快捷地解决 知识付费和运营赞助的难题。同时&#xff0c;它基于高性能的Thin…

ubuntu安装docker的详细教程

检查卸载老版本docker ubuntu下自带了docker的库&#xff0c;不需要添加新的源。 但是ubuntu自带的docker版本太低&#xff0c;需要先卸载旧的再安装新的。 注&#xff1a;docker的旧版本不一定被称为docker&#xff0c;docker.io 或 docker-engine也有可能&#xff0c;所以卸…

Hypermesh碰撞安全之头部撞击模拟

1、首先到自定义工作面板中选择Engineering Solutions(工程解决方案&#xff09; 2、进入行人保护建模流程模块 3、导入所需要的模型 4、对模型进行切割&#xff0c;选择所需要保留的区域 5、单击next进入下一界面 6、选择打击类型 下一步进入&#xff1a; 这样就完成了打击点…

基于深度学习的唇语识别系统的设计与实现

概要 人工智能作为三大工程之一&#xff0c;从上个世纪至今仍然活跃于各个行业的研究与应用之中&#xff0c;应时代的热潮方向&#xff0c;本 课题主要针对深度学习技术应用于唇语识别当中&#xff0c;实现词语唇语的翻译功能。唇语识别在图像处理中一直是一个富 有挑战性的课题…

基础知识学习 -- qnx 系统

QNX是一个基于优先级抢占的系统。 这也导致其基本调度算法相对比较简单。因为不需要像别的通用操作系统考虑一些复杂的“公平性”&#xff0c;只需要保证“优先级最高的线程最优先得到 CPU”就可以了。 基本调度算法 调度算法&#xff0c;是基于优先级的。QNX的线程优先级&a…

【LabVIEW FPGA入门】单周期定时循环

单周期定时循环详解 单周期定时环路是FPGA编程中最强大的结构之一。单周期定时循环中的代码更加优化&#xff0c;在FPGA上占用更少的空间&#xff0c;并且比标准While循环中的相同代码执行得更快。单周期定时环路将使能链从环路中移除&#xff0c;以节省FPGA上的空间。…

C++算法学习心得八.动态规划算法(4)

1.零钱兑换&#xff08;322题&#xff09; 题目描述&#xff1a; 给定不同面额的硬币 coins 和一个总金额 amount。编写一个函数来计算可以凑成总金额所需的最少的硬币个数。如果没有任何一种硬币组合能组成总金额&#xff0c;返回 -1。 你可以认为每种硬币的数量是无限的。…

QTextToSpeech的使用——Qt

前言 之前随便看了几眼QTextToSpeech的帮助就封装使用了&#xff0c;达到了效果就没再管了&#xff0c;最近需要在上面加功能&#xff08;变换语速&#xff09;&#xff0c;就写了个小Demo后&#xff0c;发现不对劲了。 出现的问题 场景 写了个队列添加到语音播放子线程中&a…