Mysqld的关键优化参数

skip-name-resolve

现象

mysql连接很慢，登陆到服务器上查看服务器日志都是正常的，无可疑记录，登陆到mysql服务器上，查看下进程，发现有很多这样的连接：
218 | unauthenticated user | 192.168.10.6:44500 | NULL  | Connect | NULL | login | NULL
219 | unauthenticated user | 192.168.10.6:44501 | NULL  | Connect | NULL | login | NULL  
 

原因是由于mysql对连接的客户端进行DNS反向解析。

有2种解决办法：
1，把client的ip写在mysql服务器的/etc/hosts文件里，随便给个名字就可以了。
2，在 my.cnf 中加入 skip_name_resolve=on

mysql是这样来处理客户端解析过程

  • mysql-client向mysqld发起连接请求；
  • mysqld创建子线程来处理该连接请求；
  • 子线程首先去检查主机名是否存在于performance_schema.host_cache表中；
  • 如果是，则进入权限验证阶段；
  • 如果否，那么会尝试解析将IP地址解析为主机名；
  • 然后再将主机名解析为IP地址；
  • 将解析到的结果和原始IP地址进行比较；
  • 如果相同则添加到host_cache中然后进行权限验证;
  • 如果不相同，那么返回报错
  • 注：只有非本地主机的 TCP 连接会使用主机缓存；使用网络回环地址或 socket 建立的连接不会使用主机缓存
     

所谓反向解析是这样的

mysql接收到连接请求后，获得的是客户端的ip，为了更好的匹配mysql.user里的权限记录（某些是用hostname定义的）。
如果mysql服务器设置了dns服务器，并且客户端ip在dns上并没有相应的hostname，那么这个过程很慢，导致连接等待。

添加skip-name-resolve以后就跳过着一个过程了。

How MySQL
uses DNS When a new thread connects to mysqld, mysqld will
spawn a new thread to handle the request. This thread will first check
if the hostname is in the hostname cache. If not the thread will call
gethostbyaddr_r() and gethostbyname_r() to resolve the hostname. If
the operating system doesn’t support the above thread-safe calls, the
thread will lock a mutex and call gethostbyaddr() and gethostbyname()
instead. Note that in this case no other thread can resolve other
hostnames that is not in the hostname cache until the first thread is
ready. You can disable DNS host lookup by starting mysqld with
–skip-name-resolve. In this case you can however only use IP names in
the MySQL privilege tables. If you have a very slow DNS and many
hosts, you can get more performance by either disabling DNS lookop
with –skip-name-resolve or by increasing the HOST_CACHE_SIZE define
(default: 128) and recompile mysqld. You can disable the hostname
cache with –skip-host-cache. You can clear the hostname cache with
FLUSH HOSTS or mysqladmin flush-hosts. If you don’t want to allow
connections over TCP/IP, you can do this by starting mysqld with
–skip-networking.
 

根据文档说明，如果你的mysql主机查询DNS很慢或是有很多客户端主机时会导致连接很慢，由于我们的开发机器是不能够连接外网的，所以DNS解析是不可能完成的，从而也就明白了为什么连接那么慢了。同时，请注意在增加该配置参数后，mysql的授权表中的host字段就不能够使用域名而只能够使用 ip地址了，因为这是禁止了域名解析的结果。

skip-host-cache

主机缓存的作用

  • 通过缓存 IP 到主机名查找的结果，可以避免每次客户端进行连接时都去寻找DNS进行解析，所能缓存条目的数量受 host_cache_size 控制。
  • 缓存中包含客户端连接过程中发生的错误信息。如果同一主机连续多次连接错误，那么将阻止该主机的进一步连接，该行为受 max_connect_errors 控制。
     
参数 host_cache_size与skip-host-cache和skip_name_resolve 的作用
  • host_cache_size：控制主机缓存的数量，设置为0时，禁用主机缓存，每次服务器连接时，服务器都会进行DNS查找，相比skip-host-cache来说，host_cache_size更加灵活，可以随时变更或禁用。
  • skip-host-cache：作用类似于host_cache_size，但mysql在运行时无法对该参数进行变更，并且skip-host-cache在之后的版本中已弃用。
  • skip_name_resolve：检查客户端连接时是否解析主机名，变量为off，则mysqld 会在检查客户端连接时解析主机名。若变量为on，mysqld 只使用 IP ;在这种情况下，授权表中的所有列值都必须是 IP地址
     

read_buffer_size

read_buffer_size参数用于控制每次从MySQL服务器读取数据时使用的缓冲区大小，单位为字节，默认值为 1MB。

线上配置参考

[client]
port = 3306
socket=/var/lib/mysql/mysql.sock

[mysqld]
########basic settings########
server-id = 11 
port = 3306
user = mysql
bind_address = 0.0.0.0
autocommit = 1
character_set_server=utf8
skip_name_resolve = 1
log_bin_trust_function_creators = 1
max_connections = 800
max_connect_errors = 1000
datadir = /data/mysql/data
transaction_isolation = READ-COMMITTED
explicit_defaults_for_timestamp = 1
join_buffer_size = 134217728
tmp_table_size = 67108864
tmpdir = /data/mysql/tmp/
max_allowed_packet = 16777216
sql_mode = "STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION,NO_ZERO_DATE,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER"
interactive_timeout = 1800
wait_timeout = 1800
read_buffer_size = 16777216
read_rnd_buffer_size = 33554432
sort_buffer_size = 33554432
########log settings########
log_error = error.log
slow_query_log = 1
slow_query_log_file = /data/mysql/logs/slow/slow.log
log_queries_not_using_indexes = 1
log_slow_admin_statements = 1
log_slow_slave_statements = 1
log_throttle_queries_not_using_indexes = 10
expire_logs_days = 90
long_query_time = 2
min_examined_row_limit = 100
########replication settings########
master_info_repository = TABLE
relay_log_info_repository = TABLE
log_bin = /data/mysql/logs/bin_log/bin.log
sync_binlog = 1
gtid_mode = on
enforce_gtid_consistency = 1
log_slave_updates
binlog_format = row 
relay_log = relay.log
relay_log_recovery = 1
binlog_gtid_simple_recovery = 1
slave_skip_errors = ddl_exist_errors
########innodb settings########
innodb_page_size = 8192
innodb_buffer_pool_size = 12G
innodb_buffer_pool_instances = 8
innodb_buffer_pool_load_at_startup = 1
innodb_buffer_pool_dump_at_shutdown = 1
innodb_lru_scan_depth = 2000
innodb_lock_wait_timeout = 5
innodb_io_capacity = 4000
innodb_io_capacity_max = 8000
innodb_flush_method = O_DIRECT
innodb_file_format = Barracuda
innodb_file_format_max = Barracuda
#innodb_log_group_home_dir = /redolog/
#innodb_undo_directory = /undolog/
innodb_undo_logs = 128
innodb_undo_tablespaces = 3
innodb_flush_neighbors = 1
innodb_log_file_size = 4G
innodb_log_buffer_size = 16777216
innodb_purge_threads = 4
innodb_large_prefix = 1
innodb_thread_concurrency = 64
innodb_print_all_deadlocks = 1
innodb_strict_mode = 1
innodb_sort_buffer_size = 67108864 
########semi sync replication settings########
plugin_load = "rpl_semi_sync_master=semisync_master.so;rpl_semi_sync_slave=semisync_slave.so"
loose_rpl_semi_sync_master_enabled = 1
loose_rpl_semi_sync_slave_enabled = 1
loose_rpl_semi_sync_master_timeout = 5000

[mysqld-5.7]
innodb_buffer_pool_dump_pct = 40
innodb_page_cleaners = 4
innodb_undo_log_truncate = 1
innodb_max_undo_log_size = 2G
innodb_purge_rseg_truncate_frequency = 128
binlog_gtid_simple_recovery=1
log_timestamps=system
transaction_write_set_extraction=MURMUR32
show_compatibility_56=on

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/296437.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Stable Diffusion架构的3D分子生成模型 GeoLDM - 测评与代码解析

Stable Diffusion架构的3D分子生成模型 GeoLDM - 测评与代码解析

之前，向大家介绍过3D分子生成模型 GeoLDM。 GeoLDM按照Stable Diffusion架构，将3D分子生成的扩散过程运行在隐空间内，优化了基于扩散模型的分子生成。可能是打开Drug-AIGC的关键之作。让精确控制分子生成有了希望。 详见：分子生成…
阅读更多...
听GPT 讲Rust源代码--compiler(16)

听GPT 讲Rust源代码--compiler(16)

File: rust/compiler/rustc_span/src/lib.rs 在Rust源代码中，rust/compiler/rustc_span/src/lib.rs文件定义了与Rust编译器源代码位置相关的数据结构和功能。 下面是对一些重要结构和枚举类型的详细介绍： SessionGlobals: 代表编译器会话（Ses…
阅读更多...
leetcode2975. 移除栅栏得到的正方形田地的最大面积

leetcode2975. 移除栅栏得到的正方形田地的最大面积

题目 有一个大型的 (m - 1) x (n - 1) 矩形田地，其两个对角分别是 (1, 1) 和 (m, n) ，田地内部有一些水平栅栏和垂直栅栏，分别由数组 hFences 和 vFences 给出。 水平栅栏为坐标 (hFences[i], 1) 到 (hFences[i], n)，垂直栅栏为…
阅读更多...
【大数据进阶第三阶段之Hive学习笔记】Hive查询、函数、性能优化

【大数据进阶第三阶段之Hive学习笔记】Hive查询、函数、性能优化

【大数据进阶第三阶段之Hive学习笔记】Hive安装-CSDN博客 【大数据进阶第三阶段之Hive学习笔记】Hive常用命令和属性配置-CSDN博客 【大数据进阶第三阶段之Hive学习笔记】Hive基础入门-CSDN博客 【大数据进阶第三阶段之Hive学习笔记】Hive查询、函数、性能优化-CSDN博客 ——…
阅读更多...
2024.1.2 Spark 简介,架构,环境部署,词频统计

2024.1.2 Spark 简介,架构,环境部署,词频统计

目录 一. Spark简介 二 . Spark 框架模块 三. 环境准备 3.1 Spark Local模式搭建 3.2 通过Anaconda安装python3环境 3.3 PySpark库安装 四 . Spark集群模式架构介绍 五. pycharm远程开发环境 六. Spark词频统计 一. Spark简介 1. Spark 和MapReduce MR:大量的磁盘反复…
阅读更多...
LiveGBS流媒体平台GB/T28181常见问题-国标编号是什么设备编号和通道国标编号标记唯一的摄像头|视频|镜头通道

LiveGBS流媒体平台GB/T28181常见问题-国标编号是什么设备编号和通道国标编号标记唯一的摄像头|视频|镜头通道

LiveGBS国标GB28181中国标编号是什么设备编号和通道国标编号标记唯一的摄像头|视频|镜头通道 1、什么是国标编号？2、国标设备ID和通道ID3、ID 统一编码规则4、搭建GB28181视频直播平台 1、什么是国标编号？ 国标GB28181对接过程中，可能有的小…
阅读更多...
Vue入门一（前端发展史｜Vue介绍｜Vue插值语法｜Vue指令｜style与class使用｜条件渲染）

Vue入门一（前端发展史｜Vue介绍｜Vue插值语法｜Vue指令｜style与class使用｜条件渲染）

文章目录 一、前端的发展史二、Vue介绍 和 基本使用1) Vue介绍2) Vue特点3) M-V-VM思想1.MVVM介绍2.MVVM的特性3.MVVM逻辑 4) 组件化开发、单页面开发组件化开发单页面开发 5) 引入方式6) 补充解释型的语言是需要解释器的 nodejs：一门后端语言7) 快速使用 三、Vue之…
阅读更多...
JavaScript异常处理详解

JavaScript异常处理详解

前言 本文将带你了解 JavaScript 中常见的错误类型，处理同步和异步 JavaScript代码中错误和异常的方式，以及错误处理最佳实践！ 1. 错误概述 JavaScript 中的错误是一个对象，在发生错误时会抛出该对象以停止程序。在 JavaScript…
阅读更多...
代码随想录刷题题Day26

代码随想录刷题题Day26

刷题的第二十六天，希望自己能够不断坚持下去，迎来蜕变。😀😀😀 刷题语言：C Day26 任务 ● 动态规划理论基础 ● 斐波那契数 ● 爬楼梯 ● 使用最小花费爬楼梯 1 动态规划理论基础 对于动态规划问题&#x…
阅读更多...
小白入门基础 - spring Boot 入门

小白入门基础 - spring Boot 入门

1.简介 spring Boot是为了简化java的开发流程而构建的，即使是使用springMVC框架，也依然需要大量配置和依赖导入， 这无疑是繁琐的，spring Boot采用了”习惯由于配置“的原则，进行一键化部署，这样极大…
阅读更多...
【建议收藏】一文全面解读Linux最常用的解压缩命令（tar、zip、unzip、gzip、guznip、bzip2、bunzip2）

【建议收藏】一文全面解读Linux最常用的解压缩命令（tar、zip、unzip、gzip、guznip、bzip2、bunzip2）

一文全面解读Linux最常用的解压缩命令（tar、zip、unzip、gzip、guznip、bzip2、bunzip2），建议收藏 文章目录 一文全面解读Linux最常用的解压缩命令（tar、zip、unzip、gzip、guznip、bzip2、bunzip2），建议收…
阅读更多...
2017年AMC8数学竞赛中英文真题典型考题、考点分析和答案解析

2017年AMC8数学竞赛中英文真题典型考题、考点分析和答案解析

昨天，六分成长给大家了做了一套2024年AMC8比赛的全真模拟试题，40分钟，25道题，并且提供了答案，所有试题来自过去20年的真题，不知道你做对了多少？一定要让孩子抽40分钟，认真的做一做&a…
阅读更多...
mnn-llm: 大语言模型端侧CPU推理优化

mnn-llm: 大语言模型端侧CPU推理优化

在大语言模型(LLM)端侧部署上，基于 MNN 实现的 mnn-llm 项目已经展现出业界领先的性能，特别是在 ARM 架构的 CPU 上。目前利用 mnn-llm 的推理能力，qwen-1.8b在mnn-llm的驱动下能够在移动端达到端侧实时会话的能力，能够在较低内存…
阅读更多...
数字人克隆：人类科技进步的里程碑

数字人克隆：人类科技进步的里程碑

数字人克隆，作为一项引起广泛争议和关注的科技创新，正在逐渐走向我们的生活。它是将人的意识和思想复制到数字化的实体中，从而使之与真正的人类无异。数字人克隆的出现不仅引发了人们对道德伦理问题的讨论，也给人类社会带来了巨大…
阅读更多...
频率域图像增强之理想低通滤波器的python实现——数字图像处理

频率域图像增强之理想低通滤波器的python实现——数字图像处理

原理 理想低通滤波器（Ideal Low-Pass Filter, ILPF）是数字图像处理中一个重要的概念，尤其在频率域滤波中扮演着关键角色。 定义： 理想低通滤波器是一种在频率域内工作的滤波器，旨在通过允许低频信号通过同时阻止高频信…
阅读更多...
mysql5.7安装-windwos免安装版本

mysql5.7安装-windwos免安装版本

下载地址 官网地址:https://www.mysql.com/官网下载地址:https://dev.mysql.com/downloads/mysql/阿里云镜像站下载:https://mirrors.aliyun.com/mysql/华为云镜像站地址:https://mirrors.huaweicloud.com/home华为云镜像站下载:https://mirrors.huaweicloud.com/mysql/Downlo…
阅读更多...
MSVCP140_1.dll文件丢失的解决方法指南，MSVCP140_1.dll最快捷的修复手段

MSVCP140_1.dll文件丢失的解决方法指南，MSVCP140_1.dll最快捷的修复手段

在近些年里，随着电脑技术的迅猛进步，我们对操作系统变得越来越依赖。然而，在使用过程中，我们也可能偶遇一些技术挑战，比如遇到 MSVCP140_1.dll 文件丢失的问题。本文旨在深入探讨这个常见的技术难题，并为大…
阅读更多...
跑通大模型领域的 hello world

跑通大模型领域的 hello world

跑通书生浦语大模型的 3 个趣味 demo（InternLM-Chat-7B 智能对话、Lagent工具调用解简单数学题、浦语灵笔多模态图文创作和理解）视频和文档。 1、两个框架 InternLM 是⼀个开源的轻量级训练框架，旨在⽀持⼤模型训练⽽⽆需⼤量的依赖。 Lage…
阅读更多...
瞧瞧别人家的电商【淘宝1688京东】API接口，那叫一个优雅

瞧瞧别人家的电商【淘宝1688京东】API接口，那叫一个优雅

淘宝、京东等电商平台的API接口确实非常强大和优雅，它们提供了丰富的功能和数据，使得开发者可以轻松地与平台进行交互，实现各种应用和功能。 以下是一些可能会让你感到优雅的淘宝、京东等电商平台的API接口特点： 接口设计简洁明…
阅读更多...
力扣：15.三数之和

力扣：15.三数之和

1.做题链接：. - 力扣（LeetCode） 2.做题前须： 两数之和降低复杂度： 1.问题描述：一个数组中找到两个数字之和是taeget 例如：[2,7,11,15,19,21],target30 2.解法一：暴力枚举时间复…
阅读更多...
最新文章

Copyright @ 2022~2023