Spark中使用scala完成数据抽取任务 -- 总结

如题

在这里插入图片描述

任务二：离线数据处理，校赛题目需要使用spark框架将mysql数据库中ds_db01数据库的user_info表的内容抽取到Hive库的user_info表中，并且添加一个字段设置字段的格式 第二个任务和第一个的内容几乎一样。

在该任务中主要需要完成以下几个阶段：

  • 构建maven工程
  • 编写程序
    连接mysql数据库
    读取MySQL数据库中的数据
    在hive中新建数据库
    编写程序将读取到的数据处理之后导入到hive
  • 将程序打成jar包 通过scp命令传到集群中
  • 在集群中使用spark --submit命令执行jar包

构建maven项目

使用idea新建一个空项目，在pom.xml文件中引入相对应的依赖

在这里插入图片描述

踩坑点（1）：
maven中的依赖主要是关于spark的依赖，这些依赖在引入的时候需要注意引入的版本需要与集群中的scala版本相对应

maven仓库链接 ： 点击这里

在这里插入图片描述
这里就说明了可以使用的Scala版本，注意对应自己集群中的版本选择依赖

踩坑点(2):
该任务需要程序连接本地的mysql服务，所以需要引入java连接mysql数据库的第三方依赖（idea设置-项目结构-添加依赖选择下载好的mysql-connector-java.jar就可以）：
在这里插入图片描述

但是在idea中使用maven构建工具打包jar包的时候会出现第三方依赖打不进jar包的情况，这是因为maven工程中需要引入一个插件

<build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.1</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <transformers>
                                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass>com.xxg.Main</mainClass>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

        </plugins>
    </build>

使用该插件再次打包jar包，就不会出现打不进的情况

maven工程完整代码：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>untitled</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>
    <dependencies>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.1.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.12</artifactId>
            <version>3.1.2</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>3.1.0</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.16</version>
        </dependency>


    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.1</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <transformers>
                                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass>com.xxg.Main</mainClass>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

        </plugins>
    </build>


</project>

编写程序

编写的程序中需要用到上文引入的那些依赖
程序的逻辑主要是
（1）与spark建立连接、启动相关配置
（2）启动hive的动态分区
（3）连接mysql
（4）取出mysql中所需字段并处理
（5）将处理结果存入Hive中

与spark建立连接

    val conf = new SparkConf().setAppName("子任务1:数据抽取").setMaster("local")
    val spark = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate()
    spark.sparkContext.setLogLevel("OFF")

这段代码的目的是创建一个Spark配置对象，设置应用程序的名称为"子任务1:数据抽取"，并设置Spark的主节点为"local"。然后，它使用这个配置来创建一个SparkSession对象，并启用Hive支持。最后，它设置SparkContext的日志级别为"OFF"。

启动动态分区

    //启用动态分区
    spark.conf.set("hive.exec.dynamic.partition.mode", "nonstrict")

这段代码是用于配置Apache Spark中的Hive动态分区模式。

在Hive中，动态分区可以在执行查询时动态地创建多个分区。这对于处理大量数据非常有用，因为它可以减少手动分区的需要。

连接mysql

    val url = "jdbc:mysql://192.168.96.33/ds_db01"
    //连接mysql
    val jdbcDF = spark.read.format("jdbc").options(
      Map("driver" -> "com.mysql.cj.jdbc.Driver",
        "url" -> url,
        "password" -> "123456",
        "dbtable" -> "sku_info"
      )).load()

注意：url需要以"jdbc:mysql://"开头，因为程序是使用jdbc这个第三方依赖访问mysql的。
在spark.read连接的时候也需要使用format()指定数据库驱动是jdbc，option的参数是map类型，
他需要指定依赖包的类名、密码和使用的数据表。

取出mysql中所需字段并处理

    jdbcDF.createTempView("ods") // 创建临时表
    val dataframe = spark.sql(
      """
     select * from ods;
     """.stripMargin
    )

    dataframe.show()
    val data = dataframe.withColumn("etl_date", date_format(date_sub(current_date(), 1), "yyyyMMdd"))
    data.show()

jdbcDF.createTempView(“ods”)：这行代码创建了一个名为"ods"的临时视图。jdbcDF是一个DataFrame，它包含了从JDBC数据源中读取的数据（这里是mysql中的ds_db01库中的sku_info表）。createTempView方法将该DataFrame注册为一个临时表，以便在后续的SQL查询中使用。

val data = dataframe.withColumn(…)：这行代码向dataframe中添加一个新列。新列的名称为"etl_date"，值是通过对当前日期减去一天，并按照"yyyyMMdd"的格式进行格式化得到的。date_format和date_sub是Spark中用于日期处理的函数。新生成的DataFrame存储在变量data中。

将处理结果存入Hive中

data.write.format("hive").mode("append").partitionBy("etl_date").saveAsTable("ods.sku_info")
spark.sql("show partitions ods.sku_info").show()

这行代码的功能是：

  • data.write.format(“hive”)：指定输出格式为Hive。
  • mode(“append”)：如果目标表已经存在，则以追加模式写入数据，而不是覆盖现有数据。
  • partitionBy(“etl_date”)：按“etl_date”列分区。
  • saveAsTable(“ods.sku_info”)：将数据保存为名为“ods.sku_info”的Hive表。
  • spark.sql(“show partitions ods.sku_info”).show() :执行一个SQL查询来查看“ods.sku_info”表的分区信息

将程序打成jar包

程序编写完成之后，可以使用idea自带的maven构建工具把项目打包成jar包：
在这里插入图片描述
等待编译，由于引入了插件，所以会打出两个jar包，其中没有original的是我们需要的包。
在这里插入图片描述

文件传输

使用scp命令或者文件传输工具将该jar包发送到集群中的一台机器上

scp -r unitiled-1.0-SNAPSHOT.jar root@master:/opt/

在集群中使用spark --submit命令执行jar包

spark-submit --class org.example.Task.Task01  --master yarn --deploy-mode client /opt/untitled-1.0-SNAPSHOT.jar

运行这个命令的时候有两个踩坑点

踩坑点（3）：
如果不把打包第三方依赖的maven引入。或者程序中没有成功指定jdbc类都会报这样的错，如果出现这样的问题可以检查这两个地方。
在这里插入图片描述
踩坑点（4）：

在这里插入图片描述
出现这个问题，网上的结局办法为：
在这里插入图片描述
但是我尝试过并没有解决问题，我的解决方案为：
（1）在mysql中创建一个用户名为“”（空）的用户
（2）给这个用户所有的权限

grant all privileges on *.* to ""@"%";
flush privileges;

指令运行成功的结果为：
在这里插入图片描述
第二个任务和第一个任务完全一样，该个名字就可以。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/267772.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【python】python课设 天气预测数据分析及可视化(完整源码）

【python】python课设 天气预测数据分析及可视化(完整源码）

目录 1. 前言2. 项目结构3. 详细介绍3.1 main.py3.2 GetModel.py3.3 GetData.py3.4 ProcessData.py3.5天气网.html 4. 成果展示 1. 前言 本文介绍了天气预测数据分析及可视化的实现过程使用joblib导入模型和自定义模块GetModel获取模型&#xff0c;输出模型的MAE。使用pyechart…
阅读更多...
鸿蒙应用开发 自定义下拉刷新动画

鸿蒙应用开发 自定义下拉刷新动画

1 概述 属性动画&#xff0c;是最为基础的动画&#xff0c;其功能强大、使用场景多&#xff0c;应用范围较广。常用于如下场景中&#xff1a; 一、页面布局发生变化。例如添加、删除部分组件元素。二、页面元素的可见性和位置发生变化。例如显示或者隐藏部分元素&#xff0c;…
阅读更多...
基于 Webpack 插件体系的 Mock 服务

基于 Webpack 插件体系的 Mock 服务

背景 在软件研发流程中&#xff0c;对于前后端分离的架构体系而言&#xff0c;为了能够更快速、高效的实现功能的开发&#xff0c;研发团队通常来说会在产品原型阶段对前后端联调的数据接口进行结构设计及约定&#xff0c;进而可以分别同步进行对应功能的实现&#xff0c;提升研…
阅读更多...
LINUX系统安装和管理

LINUX系统安装和管理

目录 一.应用程序 对比应用程序与系统命令的关系 典型应用程序的目录结构 常见的软件包装类型 二.RPM软件包管理 1.RPM是什么&#xff1f; 2.RPM命令的格式 查看已安装的软件包格式 查看未安装的软件包 3.RPM安装包从哪里来&#xff1f; 4.挂载的定义 挂载命令moun…
阅读更多...
C语言蛇形矩阵

C语言蛇形矩阵

文章目录 每日一言题目解题思路全部代码结语 每日一言 山有榛&#xff0c;隰有苓。云谁之思&#xff1f;西方美人。 --邶风简兮 题目 解题思路 话不多说&#xff0c;直接看图 通过观察图表&#xff0c;我想到了这种方法&#xff1a; 我将数字放置的位置分为两大类&#xff…
阅读更多...
Python深度学习028：神经网络模型太多，傻傻分不清？

Python深度学习028：神经网络模型太多，傻傻分不清？

文章目录 深度学习网络模型常见CNN网络深度学习网络模型 在深度学习领域，有许多常见的网络模型，每种模型都有其特定的应用和优势。以下是一些广泛使用的深度学习模型： 卷积神经网络（CNN）： 应用：主要用于图像处理，如图像分类、物体检测。 特点：利用卷积层来提取图像特…
阅读更多...
【UML】第12篇 序列图（1/2）——基本概念和构成

【UML】第12篇 序列图（1/2）——基本概念和构成

目录 一、什么是序列图&#xff08;Sequence Diagram&#xff09; 1.1 定义 1.2 主要用途 1.3 序列图和BPMN的区别和联系 二、序列图的构成 2.1 对象 2.2 生命线 2.3 消息 2.4 激活 序列图&#xff0c;是我个人认为的用处最多的一种图。产品和研发的同学&#xff0c;都…
阅读更多...
WorkPlus一站式协同解决方案，助力企业降本增效

WorkPlus一站式协同解决方案，助力企业降本增效

在企业数字化转型的过程中&#xff0c;很多企业都会遇到一个共同问题&#xff1a;重复建设基础功能&#xff0c;耗费大量时间和资源。为解决这一难题&#xff0c;WorkPlus已经将一些通用、基础且有技术门槛的功能进行了集成与开发&#xff0c;如IM&#xff08;即时通讯&#xf…
阅读更多...
截断整型提升算数转换

截断整型提升算数转换

文章目录 &#x1f680;前言&#x1f680;截断&#x1f680;整型提升✈️整型提升是怎样的 &#x1f680;算术转换 &#x1f680;前言 大家好啊&#xff01;这里阿辉补一下前面操作符遗漏的地方——截断、整型提升和算数转换 看这一篇要先会前面阿辉讲的数据的存储否则可能看不…
阅读更多...
“C语言“——scanf()、getchar() 、putchar()、之间的关系

“C语言“——scanf()、getchar() 、putchar()、之间的关系

scanf函数说明 scanf函数是对来自于标准输入流的输入数据作格式转换&#xff0c;并将转换结果保存至format后面的实参所指向的对象。 而const char*format 指向的字符串为格式控制字符串&#xff0c;它指定了可输入的字符串以及赋值时转换方法。 简单来说给一个打印格式(输入…
阅读更多...
css radial-gradient 径向渐变基本语法与使用

css radial-gradient 径向渐变基本语法与使用

在之前的文章《深入理解Css linear-gradient线性渐变》我们了解了CSS中的线性渐变&#xff0c;本文将介绍CSS中的另一种渐变———径向渐变&#xff08;Radial Gradient&#xff09;&#xff1a; CSS中的径向渐变&#xff08;Radial Gradient&#xff09;允许你创建从一个颜色…
阅读更多...
基于Java SSM框架实现交通事故档案管理系统项目【项目源码+论文说明】

基于Java SSM框架实现交通事故档案管理系统项目【项目源码+论文说明】

基于java的SSM框架实现交通事故档案管理系统演示 摘要 随着科学技术的飞速发展&#xff0c;各行各业都在努力与现代先进技术接轨&#xff0c;通过科技手段提高自身的优势&#xff1b;对于交通事故档案管理系统当然也不能排除在外&#xff0c;随着网络技术的不断成熟&#xff0…
阅读更多...
企业知识库：从信息管理到知识创新的转变

企业知识库：从信息管理到知识创新的转变

在当今这个信息爆炸的时代&#xff0c;企业知识库的建设已经成为了企业持续发展的重要基石。从传统的信息管理到现代的知识创新&#xff0c;企业知识库的角色和功能也在不断地演变和升级。本文将探讨企业知识库的发展历程&#xff0c;以及如何实现从信息管理到知识创新的转变。…
阅读更多...
谷歌Gemini演示视频解析

谷歌Gemini演示视频解析

在刚刚过去的前两天 谷歌发布了号称最强的多模态大模型Gemini 不仅提供了Ultra、Pro 和 Nano版本 而且在32项学术基准中 Gemini Ultra都达到了SOTA水平 甚至在MMLU测试中 Gemini Ultra 的得分率高达 90.0%&#xff0c; 是第一个超过人类专家的模型 应该说&#xff0c;G…
阅读更多...
【vtkWidgetRepresentation】第十八期 vtkHoverWidget

【vtkWidgetRepresentation】第十八期 vtkHoverWidget

很高兴在雪易的CSDN遇见你 VTK技术爱好者 QQ：870202403 前言 本文分享vtkHoverWidget，希望对各位小伙伴有所帮助！ 感谢各位小伙伴的点赞+关注，小易会继续努力分享，一起进步！ 你的点赞就是我的动力(＾Ｕ＾)ノ~ＹＯ 1. vtkHoverWidget vtkHoverWidget用于在呈现窗口中…
阅读更多...
如何在飞书自建项目中接入ChatGPT打造智能问答助手并远程访问

如何在飞书自建项目中接入ChatGPT打造智能问答助手并远程访问

文章目录 前言环境列表1.飞书设置2.克隆feishu-chatgpt项目3.配置config.yaml文件4.运行feishu-chatgpt项目5.安装cpolar内网穿透6.固定公网地址7.机器人权限配置8.创建版本9.创建测试企业10. 机器人测试 前言 在飞书中创建chatGPT机器人并且对话&#xff0c;在下面操作步骤中…
阅读更多...
10.3 uinput

10.3 uinput

uinput 简介 uinput 是一个内核驱动&#xff0c;应用程序通过它可以在内核中模拟一个输入设备&#xff0c;其设备文件名是 /dev/uinput 或 /dev/input/uinput。 uinput 使用 使用 uinput 时遵循以下步骤&#xff1a; 通过 open 打开 uinput 设备通过 ioctl 设置属性位图通过…
阅读更多...
Windows基础知识：一站式整理指南

Windows基础知识：一站式整理指南

目录 学习目标&#xff1a; 学习内容&#xff1a; 学习产出&#xff1a; Windows操作系统的发展历史和版本特点 Windows界面和桌面元素的基本介绍 文件和文件夹管理&#xff1a;创建、复制、移动、删除等操作 系统设置和个性化&#xff1a;调整屏幕分辨率、更改桌面背景、设置…
阅读更多...
Python之classmethod和staticmethod的区别

Python之classmethod和staticmethod的区别

python中3种方式定义类方法&#xff0c;常规方式、classmethod修饰方式、staticmethod修饰方式。 class A(object):def foo(self, x):print(调用foo函数 (%s, %s)%(self, x))print(self:, self)classmethoddef class_foo(cls, x):print(调用class_foo函数 (%s, %s) % (cls, x))…
阅读更多...
Azure Machine Learning - 如何使用 GPT-4 Turbo with Vision

Azure Machine Learning - 如何使用 GPT-4 Turbo with Vision

介绍如何在Azure中使用GPT-4 Turbo with Vision 关注TechLead&#xff0c;分享AI全维度知识。作者拥有10年互联网服务架构、AI产品研发经验、团队管理经验&#xff0c;同济本复旦硕&#xff0c;复旦机器人智能实验室成员&#xff0c;阿里云认证的资深架构师&#xff0c;项目管理…
阅读更多...
最新文章

Copyright @ 2022~2023