MySQL安装——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理

MySQLicon-default.png?t=N7T8https://www.mysql.com/

将下发的ds_db01.sql数据库文件放置mysql中

12、编写Scala代码,使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info。字段名称、类型不变,同时添加静态分区,分区字段为etl_date,类型为String,且值为当前日期的前一天日期(分区字段格式为yyyyMMdd)。使用hive cli执行show partitions ods.user_info命令,将结果截图粘贴至答案表.docx中对应的任务序号下;
13、编写Scala代码,使用Spark将MySQL的ds_db01库中表sku_info的全量数据抽取到Hive的ods库中表sku_info。字段名称、类型不变,同时添加静态分区,分区字段为etl_date,类型为String,且值为当前日期的前一天日期(分区字段格式为yyyyMMdd)。使用hive cli执行show partitions ods.sku_info命令,将结果截图粘贴至答案表.docx中对应的任务序号下;

软件名称

版本

ubuntu

18.04    64 位

Hadoop:hadoop-3.1.3.tar.gz

3.1.3

Jdk:jdk-8u212-linux-x64.tar.gz

1.8

Spark:spark-3.1.1-bin-hadoop3.2.tgz

3.1.1

Hive:apache-hive-3.1.2-bin.tar.gz

3.1.2

MySQL

5.7

Scala:scala-2.12.x.tgz

2.12

Vue.js

3.2

ECharts

5.1

JDBC驱动:   mysql-connector-java-5.1.37.jar

集成开发工具:IDEA 2022 社区版

子任务一:(解压到的路径千万不要出现中文!!!小北第一次做到一半最后一步安装的时候才发现!!!浪费了很多时间!!!)

一、前言

MySQL5.7的下载安装与Navicat配置:

二、下载步骤

下载地址:MySQLicon-default.png?t=N7T8https://www.mysql.com/

温馨提示:

首页滑到最下面,选择Downloads下的MySQL Community server

点击查看下载历史版本

可手动选择历史版本

点击【No thanks,just start my download】不登录直接下载,等待一会有下载弹窗。如果有(Oracle账户选择直接登录,没有的话点击右侧注册一个)

点击【保存】就好,然后开始下载

zip格式是直接解压,解压缩之后其实MySQL就可以使用了,但是要进行环境变量配置zip格式是自己解压。

(解压到的路径千万不要出现中文!!!小北第一次做到一半最后一步安装的时候才发现!!!浪费了很多时间!!!)

(下载完毕后将文件解压到你想保存到的盘和目录内。我是将文件解压到D:\ProgramData\mysql-5.7.44-winx64目录下面)

以上就完成了下载的全部工作。

三、配置环境变量

1、右键此电脑->属性—>高级系统设置—>环境变量—>系统变量

点击系统变量中的path,编辑

点击新建,添加

(麻烦一点的话[不建议]——其实也可以一开始直接新建)

1、点击新建,变量名为:MYSQL_HOME添加你的mysql-5.7.27-winx64文件夹所在位置。我的是在D:\ProgramData\mysql-5.7.44-winx64

2、复制%MYSQL_HOME%\bin到原有值的后面

(不建议,很麻烦)

my.ini文件的内容为:如果安装目录不一样,记得修改MySQL的安装路径

环境配置结束后别直接退出,请记得一定要一个一个“确定”!!!
我的mysql bin文件夹的路径 :D:\ProgramData\mysql-5.7.44-winx64

2.配置存放数据库数据文件(配置my.ini文件)


配置完环境变量之后,在D:\ProgramData\mysql-5.7.44-winx64目录下配置文件mys.ini 中,修改安装路径,并添加存放数据的data文件夹路径。在bin的同级目录下切记不要手动创建data文件夹,第一次启动后会自动创建,手动创建会报错。

新建一个“.txt”文件,改后缀名为"my.ini",直接确定!!!


(不用的话可以直接跳过)用notepad注意修改其中的文件夹所在路径。

不要自己创建data!不要自己创建!不要自己创建!系统会自动创建,自己创建会报错。

上述图片中的配置文件内容,可从下方复制,记得修改安装目录

[mysql]
# 设置mysql客户端默认字符集
default-character-set=utf8
 
[mysqld]
# 设置3306端口
port = 3306
# 设置mysql的安装目录
basedir=D:\ProgramData\mysql-5.7.44-winx64
# 设置 mysql数据库的数据的存放目录,MySQL 8+ 不需要以下配置,系统自己生成即可,否则有可能报错
datadir=D:\ProgramData\mysql-5.7.44-winx64\data
# 允许最大连接数
max_connections=1000
# 服务端使用的字符集默认为8比特编码的latin1字符集
character-set-server=utf8
# 创建新表时将使用的默认存储引擎
default-storage-engine=INNODB
 修改内容如下:
# 设置mysql的安装目录
basedir=D:\ProgramData\mysql-5.7.44-winx64

# 设置mysql数据库的数据的存放目录
datadir=D:\ProgramData\mysql-5.7.44-winx64

完整安装过程如下,管理员权限运行cmd,运行命令:

完整的安装命令如下:

mysqld --initialize-insecure --user=mysql

mysqld install

net start mysql

mysql -u root -p

mysqladmin -u root -p password root
熟悉复习下mysql的相关命令:

1、初始化data目录
        mysqld --initialize(随机密码)
        mysqld --initialize-insecure(无密码)
2、经过初始化data重置目录,注意my.ini先配置好,mysqld -remove重新安装下,再次运行

        net start mysql
3、3306端口被占用
        mysqld --console 可以查看报错信息
        netstat -ano 看看是端口是否被占用      #netstat -aon|findstr “3306”
        若被占用,PID结束进程,再试试看
4、本地host指向问题
        C:\Windows\System32\drivers\etc\hosts
        查看下本地host是否指向其他域名,如127.0.0.1是否指向localhost

(不用的话可以直接跳过——跳的这一步)

 (正常步骤:my.ini文件的内容为:如果安装目录不一样,记得修改MySQL的安装路径。

[mysqld]
#端口号
port = 3306
#mysql-5.7.44-winx64的路径
basedir=D:\ProgramData\mysql-5.7.44-winx64
#mysql-5.7.44-winx64的路径+\data
datadir=D:\ProgramData\mysql-5.7.44-winx64\data 
#最大连接数
max_connections=200
#编码
character-set-server=utf8
 
default-storage-engine=INNODB
 
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
 
[mysql]
#编码
default-character-set=utf8 
 

创建完成后进入下一步。

四、安装MySQL

(1)在输入框内输入cmd,以管理员的身份运行,注意这里一定一定一定要以管理员的身份运行,否则在安装过程中会出现因为管理权限不够而导致的Install/Remove of the Service Denied!(安装/卸载服务被拒绝),这一点非常重要!

错误示范:("Win"+"cmd"打开命令提示符窗口是不行的)


正确步骤:

(2)在cmd中进入到D:\ProgramData\mysql-5.7.44-winx64\bin目录下:

输入安装命令:mysqld  -install,若出现Service successfully installed,证明安装成功;如出现Install of the Service Denied,则说明没有以管理员权限来运行cmd:

然后继续输入命令:mysqld  --initialize,此时不会有任何提示:

再输入启动命令:net start mysql,出现以下提示证明MySQL启动成功

输入以下命令,以root用户连接到mysql,遇见输入密码直接回车!

mysql -u root -p

当命令提示符前变为mysql>,则证明登陆成功!输入以下命令修改root用户密码!

update mysql.user set authentication_string=password('1234') where user='root';

执行成功后,输入以下命令刷新权限!

flush privileges;

重启mysql服务,即可快乐使用!

net stop mysql     
net start mysql

(在配置环境的过程中我也遇到了很多问题,并做了一些总结)

1.执行net start mysql时发生报错,报错提示:
发生系统错误 2。
系统找不到指定的文件。

解决方法:(此方法为通用方法,不一定能解决所有关于这个报错的问题)
1.进入mysql文件夹中bin里(使用管理员权限)
2.执行mysqld remove
3.执行mysqld install
4.执行net start mysql

2、在执行 mysqld --initialize时候

[ERROR] --initialize specified but the data directory has files in it. Aborting.

解决方法:[错误]--指定了初始化,但数据目录中有文件。正在中止

清除掉 数据文件。

对应的目录 :D:\ProgramData\mysql-5.7.44-winx64\data

查看现在目录内容:

把这些都删除掉。

然后重新执行:

mysqld --initialize

可以正常执行了。

3、cmd运行net start mysql
报错:
发生系统错误193 *** 不是有效的 Win32 应用程序。

解决方法:删除bin目录下0KB的mysqld文件

4、发生系统错误 1058。

无法启动服务,原因可能是已被禁用或与其相关联的设备没有启动。

MySQL之前安装好,一直使用正常的,结果第二次又不行了

首先以管理员身份启动 命令提示符,输入

net start mysql

发现提示“mysql 服务无法启动,系统发生1058错误”

解决方法:

1.输入:

mysqld remove

2.继续输入:

mysqld --initialize

3.接着输入:

mysqld --install

4.再次启动mysql:

mysql -u root -p

输入自己的mysql密码

终于启动成功啦!!!

MySQL启动!!  !

(不建议,不要轻易尝试,我用了之后命令提示符直接挡掉了)以跳过验证的方式启动mysql!!!

5、以跳过验证的方式启动mysql,或者在my.ini文件中,[mysqld]节点下,添加skip-grant-tables后,再启动!
mysqld --skip-grant-tables
net start mysql

6、MySQL登录报错:ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES)

对于出现拒绝访问root用户的解决方案:
错误1045(28000):用户'root'@'localhost'(使用密码:YES)拒绝访问

首先解析此英文:ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES);
解析的地方有两处:1.Access denied(拒绝访问);2.using password:NO/YES

一、出现access denied的原因有如下可能:

1)mysql的服务器停止:
  若MySQL已经没有启动,重启MySQL服务器:systemctl restart mysqld
2)用户的端口号或者IP导致:
  若用户的端口号与IP(3306/3307)不一致,打开my.ini文件进行编辑。全部编辑替换为: port=X
3)mysql的配置文件错误----my.ini等文件:
  my.ini文件误输入无效内容,不知道到何处。复制替换该文件;有人已经对my.ini文件进行解释以及注释:https://blog.csdn.net/lienfeng6/article/details/78140404
4)root用户的密码错误(后面解决)

二、出现 using password的原因如下:

不输入密码:

错误的密码:

​​​

解决方案:

Step 1:跳过MySQL密码验证

​ 找到 MySQL 的配置文件 “my.ini”,找到 [mysqld],在其下面任意一行添加 skip-grant-tables,保存,如下图所示:

skip-grant-tables
注:my.ini”文件可能在目录 D:\ProgramData\mysql-5.7.44-winx64\MySQL 下。
Step 2

重启 MySQL 服务。

sudo systemctl restart mysqld

Step 3:无密码登录MySQL

  • 找到 MySQL 安装目录下的 bin 目录,地址栏输入 cmd,然后回车,如下图所示:

附:如果已经为 MySQL 8.0 配置了环境变量,就可以在任意位置打开 cmd。

mysql -u root -p

输入 mysql -u root -p 回车后会显示输入密码,直接不管,再次回车,不要关闭命令行,如下图所示:

还是启动不成功!!!

解决方法:

  修改my.in配置文件

    进入mysql安装目录

    编辑my.ini

    在[mysqld]下添加skip-grant-tables,保存即可。


  使用管理员身份打开命令行

  ①重启mysql:

    1、net stop mysql    2、net start mysql  


  ②进入mysql,登录
    mysql -u root -p
    不用输入密码,直接回车(出现Enter Password 也一样直接回车,即可登陆成功)


  ③输入use mysql,修改root的密码:
    update user set authentication_string=password('1234') where user='root';
    flush privileges;


  ④退出:

    quit;


  ⑤再次重启mysql:

    1、net stop mysql     2、net start mysql


  ⑥测试是否成功就是是否登陆成功咯:
    mysql -u root -p

    Enter Password>'1234'

  就不会出错,可以登录啦!!!

(另外一种情况就是,,你密码输入错误了,如果是初始化后第一次登录,出现这种情况的话,很大概率就是密码错误,初始化后的密码要认真查看,可能会因为空格、小数点等符号输错)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/255098.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

TCP单人聊天

TCP和UDP两种通信方式它们都有着自己的优点和缺点 这两种通讯方式不通的地方就是TCP是一对一通信 UDP是一对多的通信方式 TCP通信 TCP通信方式呢 主要的通讯方式是一对一的通讯方式,也有着优点和缺点 它的优点对比于UDP来说就是可靠一点 因为它的通讯方式是需…

谈谈你知道的设计模式?请手动实现单例模式 , Spring 等框架中使用了哪些模式?

文章目录 谈谈你知道的设计模式请手动实现单例模式Spring等框架中使用哪些设计模式?设计模式分类 谈谈你知道的设计模式 我们知道 InputStream 是一个抽象类,标准类库中提供了 FileInputStream、ByteArrayInputStream 等各种不同的子类,分别…

8款AI写作神器,轻松创作高质量内容

随着AI技术的不断发展,AI生成文案平台也逐渐成为一种新型的写作工具。这些平台利用先进的算法和自然语言处理技术,能够快速生成高质量的文案内容。不仅可以提高写作效率,还可以帮助创作者更好地表达思想和创意。AIGCer介绍几款好用的AI写作工…

什么?Figma 的 fig 文件格式居然被破解出来了

大家好,我是前端西瓜哥。 上周图形编辑器交流群里有人问,对于 Figma 导出的 fig 文件,该如何解析其格式,拿到可读数据。 经过群友的一番讨论,这个问题最后算是解决了。 fig 文件 导出 Figma 的设计文件&#xff0c…

智能优化算法应用:基于人工电场算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用:基于人工电场算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用:基于人工电场算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.人工电场算法4.实验参数设定5.算法结果6.…

产品调研——AI平台

本文主要记录了对腾讯云-TIONE平台、华为云-ModelArt等主流AI平台的产品调研。 交互式建模 简单点说就是提供了带训练资源的云IDE,使用形态包括Notebook、VsCode等。 腾讯云-TI平台 TI平台将tensorflow、pytorch、spark环境等均集成到一个Notebook容器中&#xf…

深入理解强化学习——马尔可夫决策过程:价值迭代-[价值迭代算法]

分类目录:《深入理解强化学习》总目录 文章《深入理解强化学习——马尔可夫决策过程:价值迭代-[最优性原理]》和文章《深入理解强化学习——马尔可夫决策过程:价值迭代-[确认性价值迭代]》介绍了价值迭代的基础知识,本文将介绍价值…

AX7A200教程(9): ov5640摄像头输出显示720p视频

一,功能框图 ov5640摄像头视频通过ddr3缓存后,最后使用hdmi接口进行输出显示 二,摄像头硬件说明 2.1,像头硬件管脚 如下图所示,一共18个管脚 2.2,摄像头电源初始化时序 因这个ov5640摄像头是买的老摄像…

制造企业MES管理系统可以和AI结合应用吗

在当今的数字化时代,人工智能AI和MES生产管理系统的结合将成为制造企业发展的重要趋势。这种结合可以为制造企业带来许多优势,如提高生产效率、降低成本、优化资源利用等。本文将探讨MES管理系统和AI的结合以及它们在制造企业中的应用,并分析…

【JavaWeb学习笔记】11 - WEB工程路径专题

一、工程路径问题 1.引入该问题 通过这几个去访问很麻烦 二、工程路径解决方案 1.相对路径 1.说明:使用相对路径来解决,一 个非常重要的规则:页面所有的相对路径,在默认情况下,都会参考当前浏览器地址栏的路径http:/ /ip:port/工程名/来进…

BM61 矩阵最长递增路径

题目 矩阵最长递增路径 给定一个 n 行 m 列矩阵 matrix ,矩阵内所有数均为非负整数。 你需要在矩阵中找到一条最长路径,使这条路径上的元素是递增的。并输出这条最长路径的长度。 这个路径必须满足以下条件: 1. 对于每个单元格,你…

【基于APB总线的DES实现】

基于APB总线的DES实现 本文内容摘要APB介绍仿真结果整体仿真写入数据DES加密部分DES加密读出密文 整体代码 本文内容摘要 本文是设计一个可兼容APB总线的DES加密协处理器,用来将DES加密模块与APB总线进行对接,使总线发送来的数据可以正常写入并进行加密后…

十四、YARN核心架构

1、目标 (1)掌握YARN的运行角色和角色之间的关系 (2)理解使用容器做资源分配和隔离 2、核心架构 (1)和HDFS架构的对比 HDFS架构: YARN架构:(主从模式) &…

分类预测 | Matlab实现AOA-SVM算术优化支持向量机的数据分类预测【23年新算法】

分类预测 | Matlab实现AOA-SVM算术优化支持向量机的数据分类预测【23年新算法】 目录 分类预测 | Matlab实现AOA-SVM算术优化支持向量机的数据分类预测【23年新算法】分类效果基本描述程序设计参考资料 分类效果 基本描述 1.Matlab实现AOA-SVM算术优化支持向量机的数据分类预测…

Note3---初阶二叉树~~

目录​​​​​​​ 前言🍄 1.树概念及结构☎️ 1.1 树的概念🎄 1.2 树的相关概念🦜 1.2.1 部分概念的加深理解🐾 1.2.2 树与非树🪴 1.3 树的表示🎋 1.4 树在实际中的运用(表示文件系统…

Leetcode—11.盛最多水的容器【中等】

2023每日刷题&#xff08;六十三&#xff09; Leetcode—11.盛最多水的容器 实现代码 #define MAX(a, b) ((a) > (b) ? (a) : (b)) #define MIN(a, b) ((a) < (b) ? (a) : (b)) int maxArea(int* height, int heightSize) {int left 0, right heightSize - 1;int m…

屏幕超时休眠-Android13

屏幕超时休眠-Android13 1、设置界面1.2 属性值1.2.1 默认值1.2.2 最小值限制 1.3 属性值疑问 Settings.System.SCREEN_OFF_TIMEOUT 2、超时灭屏2.1 锁定屏幕的超时2.2 屏幕灭屏的超时 3、永不休眠* 关键日志 1、设置界面 packages/apps/Settings/src/com/android/settings/dis…

八.创建和管理表

目录 1. 基础知识1.1 一条数据存储的过程1.2 标识符命名规则1.3 MySQL中的数据类型 2. 创建和管理数据库2.2 使用数据库2.3 修改数据库 3. 创建表3.1 创建方式13.2 创建方式23.4 查看数据表结构 4. 修改表4.1 追加一个列4.2 修改一个列4.3 重命名一个列4.4 删除一个列 5. 重命名…

【Docker五】使用Harbor搭建Docker私有仓库

目录 一、harbor概述 1、harbor概念&#xff1a; 2、harbor的特性 3、harbor的组件&#xff1a; 二、harbor实验&#xff1a; 1、搭建harbor 2、远程主机使用docker-harbor&#xff1a; 3、镜像同步&#xff1a; 一、harbor概述 1、harbor概念&#xff1a; harbor&…

计网01 计算机网络基础

一、计算机网络基本概念 1、什么是计算机网络 网络&#xff1a;由两台或多台计算机通过网络设备串联&#xff08;网络设备通过传输介质串联&#xff09;而形成的网络网络设备&#xff1a;计算机、路由交换、防火墙、上网行为管理等传输介质&#xff1a;双绞线&#xff08;网线…