【智能优化算法】粒子群优化算法（PSO）【附python实现代码】

写在前面：
首先感谢兄弟们的订阅，让我有创作的动力，在创作过程我会尽最大能力，保证作品的质量，如果有问题，可以私信我，让我们携手共进，共创辉煌。

路虽远，行则将至；事虽难，做则必成。只要有愚公移山的志气、滴水穿石的毅力，脚踏实地，埋头苦干，积跬步以至千里，就一定能够把宏伟目标变为美好现实。

历史文章回顾：
灰狼优化算法：【智能优化算法】灰狼优化算法【附python实现代码】
白鲸优化算法：【智能优化算法】白鲸优化算法【附python实现代码】
【智能优化算法】粒子群优化KNN分类算法【附python实现代码】
【智能优化算法】粒子群优化随机森林分类算法【附python实现代码】
【智能优化算法】粒子群优化LightGBM分类算法【附python实现代码】
【模型参数优化】随机搜索对随机森林分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对随机森林分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对KNN分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对XGBoost分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对GBDT分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对SVM分类模型进行参数寻优【附python实现代码】
【模型参数优化】随机搜索对SVM分类模型进行参数寻优【附python实现代码】

1、介绍

1.1、PSO算法起源

1995年，受到鸟群觅食行为的规律性启发，James Kennedy和Russell Eberhart建立了一个简化算法模型，经过多年改进最终形成了粒子群优化算法(Particle Swarm Optimization, PSO) ，也可称为粒子群算法。

1.2、PSO算法特点

粒子群算法具有收敛速度快、参数少、算法简单易实现的优点（对高维度优化问题，比遗传算法更快收敛于最优解），但是也存在陷入局部最优解的问题，因此依赖于良好的初始化。

1.3、PSO算法基本思想

粒子群算法的思想源于对鸟群觅食行为的研究，鸟群通过集体的信息共享使群体找到最优的目的地。如下图，设想这样一个场景：鸟群在森林中随机搜索食物，它们想要找到食物量最多的位置。但是所有的鸟都不知道食物具体在哪个位置，只能感受到食物大概在哪个方向。每只鸟沿着自己判定的方向进行搜索，并在搜索的过程中记录自己曾经找到过食物且量最多的位置，同时所有的鸟都共享自己每一次发现食物的位置以及食物的量，这样鸟群就知道当前在哪个位置食物的量最多。在搜索的过程中每只鸟都会根据自己记忆中食物量最多的位置和当前鸟群记录的食物量最多的位置调整自己接下来搜索的方向。鸟群经过一段时间的搜索后就可以找到森林中哪个位置的食物量最多（全局最优解）。

在这里插入图片描述

2、算法基本原理

2.1 对应关系

将鸟群觅食行为和算法原理对应，如下表所示：

鸟群觅食粒子群算法
鸟粒子
森林求解空间
食物的量目标函数值（适应值）
每只鸟所处的位置空间中的一个解（粒子位置）
食物量最多的位置全局最优解

2.2 基础知识

  • PSO的基础：信息的社会共享
  • 粒子的两个属性：速度和位置（算法的两个核心要素）
    速度表示粒子下一步迭代时移动的方向和距离，位置是所求解问题的一个解。
  • 算法的6个重要参数
    在这里插入图片描述
  • 粒子群算法的流程图
    在这里插入图片描述
  • 粒子群算法的伪代码
    在这里插入图片描述

3、速度更新公式

表述上叫速度，实际上就是粒子下一步迭代移动的距离和方向，也就是一个位置向量。
在这里插入图片描述

3.1、速度更新公式的解释

  • 第1项：惯性部分
    由惯性权重和粒子自身速度构成，表示粒子对先前自身运动状态的信任。
  • 第2项：认知部分
    表示粒子本身的思考，即粒子自己经验的部分，可理解为粒子当前位置与自身历史最优位置之间的距离和方向。
  • 第3项：社会部分
    表示粒子之间的信息共享与合作，即来源于群体中其他优秀粒子的经验，可理解为粒子当前位置与群体历史最优位置之间的距离和方向。

3.2、速度更新公式的参数定义

在这里插入图片描述

3.3、速度方向

粒子下一步迭代的移动方向 = 惯性方向 + 个体最优方向 + 群体最优方向
在这里插入图片描述

4、位置更新公式

上一步的位置 + 下一步的速度
在这里插入图片描述

5、PSO算法参数的详细解释

5.1、粒子群规模：N

一个正整数，推荐取值范围：[20,1000]，简单问题一般取20-40，较难或特定类别的问题可以取100-200。较小的种群规模容易陷入局部最优；较大的种群规模可以提高收敛性，更快找到全局最优解，但是相应地每次迭代的计算量也会增大；当种群规模增大至一定水平时，再增大将不再有显著的作用。

5.2、粒子维度：D

粒子搜索的空间维数即为自变量的个数。

5.3、迭代次数：K

推荐取值范围：[50,100]，典型取值：60、70、100；这需要在优化的过程中根据实际情况进行调整，迭代次数太小的话解不稳定，太大的话非常耗时，没有必要。

5.4、惯性权重：w

1998年，Yuhui Shi和Russell Eberhart对基本粒子群算法引入了惯性权重(inertia weight)，并提出动态调整惯性权重以平衡收敛的全局性和收敛速度，该算法被称为标准PSO算法（本文所介绍）【Shi Y . A Modified Particle Swarm Optimizer[C]// Proc of IEEE Icec Conference. 1998.】。

  • 参数意义
    惯性权重w表示上一代粒子的速度对当代粒子的速度的影响，或者说粒子对当前自身运动状态的信任程度，粒子依据自身的速度进行惯性运动。惯性权重使粒子保持运动的惯性和搜索扩展空间的趋势。w值越大，探索新区域的能力越强，全局寻优能力越强，但是局部寻优能力越弱。反之，全局寻优能力越弱，局部寻优能力强。较大的w有利于全局搜索，跳出局部极值，不至于陷入局部最优；而较小的w有利于局部搜索，让算法快速收敛到最优解。当问题空间较大时，为了在搜索速度和搜索精度之间达到平衡，通常做法是使算法在前期有较高的全局搜索能力以得到合适的种子，而在后期有较高的局部搜索能力以提高收敛精度，所以w不宜为一个固定的常数。当w=0时，退化成基本粒子群算法，当w=1时，失去对粒子本身经验的思考。推荐取值范围：[0.4,2]，典型取值：0.9、1.2、1.5、1.8。
  • 改善惯性权重
    在解决实际优化问题时，往往希望先采用全局搜索，使搜索空间快速收敛于某一区域，然后采用局部精细搜索以获得高精度的解。因此提出了自适应调整的策略，即随着迭代的进行，线性地减小w的值。这里提供一个简单常用的方法——线性变化策略：随着迭代次数的增加，惯性权重w不断减小，从而使得粒子群算法在初期具有较强的全局收敛能力，在后期具有较强的局部收敛能力。
    在这里插入图片描述

5.5、学习因子：c1、c2

也称为加速系数或加速因子（这两个称呼更加形象地表达了这两个系数的作用）
在这里插入图片描述

6、PSO算法的其他重要概念和技巧

6.1、适应值（fitness values）

即优化目标函数的值，用来评价粒子位置的好坏程度，决定是否更新粒子个体的历史最优位置和群体的历史最优位置，保证粒子朝着最优解的方向搜索。

6.2、位置限制

限制粒子搜索的空间，即自变量的取值范围，对于无约束问题此处可以省略。

6.3、速度限制

为了平衡算法的探索能力与开发能力，需要设定一个合理的速度范围，限制粒子的最大速度 ，即粒子下一步迭代可以移动的最大距离。
Vmax较大时，粒子飞行速度快，探索能力强，但粒子容易飞过最优解；
Vmax较小时，飞行速度慢，开发能力强，但是收敛速度慢，且容易陷入局部最优解；
Vmax一般设为粒子变化范围的10％~20％，可根据实际情况调试，但不能大于粒子(解)的变化范围。

6.4、优化停止准则

停止准则一般有两种：

  • 最大迭代步数：达到最大迭代次数停止
  • 可接受的满意解：上一次迭代后最优解的适应值与本次迭代后最优解的适应值之差小于某个值后停止优化

6.5、初始化

粒子群算法优化的结果受很多因素的影响，其中受粒子初始值的影响比较大，而且较难调控。如果粒子初始值是随机初始化的，在不改变任何参数的情况下，多次优化的结果不一定都收敛到一个全局或局部最优解，也可能会得到一个无效解。所以粒子初始化是一个十分重要的步骤，它关系到整个优化过程中优化收敛的速度与方向。如果粒子的初始化范围选择得好的话可以大大缩短优化的收敛时间，也不易陷入局部最优解。需要根据具体的问题进行分析，如果根据经验判断出最优解一定在某个范围内，则就在这个范围内初始化粒子。如果无法确定，则以粒子的取值边界作为初始化范围。

7、Python代码实现

使用scikit-opt库实现PSO

先安装

pip install scikit-opt

# -*- coding: utf-8 -*-
"""
Created on Sat May 25 09:37:28 2024

@author: 63454
"""


def demo_func(x):
    x1, x2, x3 = x
    return x1 ** 2 + (x2 - 0.05) ** 2 + x3 ** 2


# %% Do PSO
from sko.PSO import PSO

pso = PSO(func=demo_func, n_dim=3, pop=40, max_iter=100, lb=[0, -1, 0.5], ub=[1, 1, 1], w=0.8, c1=0.5, c2=0.5)
pso.run()
print('best_x is ', pso.gbest_x, 'best_y is', pso.gbest_y)

# %% Plot the result
import matplotlib.pyplot as plt
plt.xlabel("iterators", size=11)
plt.ylabel("fitness", size=11)
plt.plot(pso.gbest_y_hist)
# plt.plot(pso.gbest_y_hist, color='b', linewidth=2)
plt.show()

在这里插入图片描述

参考资料

https://github.com/TimePickerWang/MachineLearning/blob/master/MachineLearning/OptAlgorithm/PSO.py
https://blog.csdn.net/xyisv/article/details/79058574
https://zhuanlan.zhihu.com/p/346355572?utm_id=0&eqid=b544778f00000f69000000066527b08b
https://github.com/guofei9987/scikit-opt/blob/master/examples/demo_pso.py
https://scikit-opt.github.io/scikit-opt/#/zh/more_sa
https://www.omegaxyz.com/2017/05/04/introductionofpso/
https://zhuanlan.zhihu.com/p/63956652

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/641192.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

MOS 管的四种类型介绍

MOS 管的四种类型介绍

图3.3.1 中的 MOS 管属于 N 沟道增强型。这种类型的MOS管采用P型衬底，导电沟道是 N 型。在vC50时没有导电沟道，开启电压Vcs(u)为正。工作时使用正电源，同时应将衬底接源极或者接到系统的电位上。在图3.3.1给出的符号中，用D S间断开…
阅读更多...
Spark在YARN上运行图解（资源调度+任务调度）及案例

Spark在YARN上运行图解（资源调度+任务调度）及案例

前提：已经安装了spark集群，可参考上篇文章搭建：http://t.csdnimg.cn/UXBOp 一、Spark集群配置YARN 1、增加hadoop 配置文件地址 vim spark-env.sh 增加export HADOOP_CONF_DIR/usr/local/soft/hadoop-3.1.1/etc/hadoop 2、关闭虚拟内存 cd …
阅读更多...
[杂项]优化AMD显卡对DX9游戏（天谕）的支持

[杂项]优化AMD显卡对DX9游戏（天谕）的支持

目录 关键词平台说明背景RDNA 1、2、3 架构的显卡支持游戏一、 优化方法1.1 下载 二、 举个栗子（以《天谕》为例）2.1 下载微星 afterburner 软件 查看游戏内信息（可跳过）2.2 查看D3D9 帧数2.3 关闭游戏，替换 dll 文件2…
阅读更多...
从0开始linux（3）——如何读写文件

从0开始linux（3）——如何读写文件

欢迎来到博主的专栏——从0开始linux 博主ID：代码小豪 文章目录 创建普通文件用文本编辑器nano写入文件如何读取文件cat命令less命令head和tail 我们前面已经了解和如何操作文件，但是目前认识的文件类型分为两类，一类是目录文件、另一类是普通…
阅读更多...
【数据结构】数据结构中的隐藏玩法——栈与队列

【数据结构】数据结构中的隐藏玩法——栈与队列

前言： 哈喽大家好，我是野生的编程萌新，首先感谢大家的观看。数据结构的学习者大多有这样的想法：数据结构很重要，一定要学好，但数据结构比较抽象，有些算法理解起来很困难，学的很累。我…
阅读更多...
UE5 像素流web 交互2

UE5 像素流web 交互2

进来点个关注不迷路谢谢！ ue 像素流交互多参数匹配 主要运用像素流的解析json 状态： 测试结果： 浏览器控制台： 接下来编写事件传递 关注下吧！
阅读更多...
webshell工具-冰蝎流量特征和加密方式

webshell工具-冰蝎流量特征和加密方式

一、冰蝎原理 1.1 简介 冰蝎是一款基于Java开发的动态加密通信流量的新型Webshell客户端，由于通信流量被加密，传统的WAF、IDS 设备难以检测，给威胁狩猎带来较大挑战。冰蝎其最大特点就是对交互流量进行对称加密，且加密密钥是由随…
阅读更多...
【颜色】windows自带画图中的颜色编辑

【颜色】windows自带画图中的颜色编辑

结论：颜色编辑中的色调、饱和度和亮度，是与HSL颜色空间保持一致。 如下图所示，他有色调、饱和度和亮度，其数值范围均为[0,240]。 首先我使用HSV进行模拟，发现效果和数值对不上。 因此改换HSL进行模拟，其数…
阅读更多...
NodeJS安装并生成Vue脚手架(保姆级)

NodeJS安装并生成Vue脚手架(保姆级)

文章目录 NodeJS下载配置环境变量Vue脚手架生成Vue脚手架创建项目Vue项目绑定git 更多相关内容可查看 NodeJS下载 下载地址：https://nodejs.org/en 下载的速度应该很快，下载完可以无脑安装，以下记得勾选即可 注意要记住自己的安装路径&…
阅读更多...
每日AIGC最新进展(10)：符号音乐生成SYMPLEX、新型图像编辑数据集ReasonPix2Pix、角色一致性插画生成、高级的风格个性化扩散模型

每日AIGC最新进展(10)：符号音乐生成SYMPLEX、新型图像编辑数据集ReasonPix2Pix、角色一致性插画生成、高级的风格个性化扩散模型

Diffusion Models专栏文章汇总：入门与实战 SYMPLEX: Controllable Symbolic Music Generation using Simplex Diffusion with Vocabulary Priors http://arxiv.org/abs/2405.12666v1 本文介绍了一种新的符号音乐生成方法，名为SYMPLEX，它基于…
阅读更多...
台湾省军事演习路径规划：A*算法在复杂地形中的应用

台湾省军事演习路径规划：A*算法在复杂地形中的应用

❤️❤️❤️ 欢迎来到我的博客。希望您能在这里找到既有价值又有趣的内容，和我一起探索、学习和成长。欢迎评论区畅所欲言、享受知识的乐趣！ 推荐：数据分析螺丝钉的首页 格物致知 终身学习 期待您的关注 导航： LeetCode解锁100…
阅读更多...
在MySQL中，Linux表同步到Windows，有大小写的就没同步的详细解决方案

在MySQL中，Linux表同步到Windows，有大小写的就没同步的详细解决方案

在 Linux 系统上，文件名是区分大小写的，而在 Windows 系统上，文件名通常不区分大小写。导致在从 Linux 同步文件到 Windows 时，有些文件因为名称冲突而无法同步。为了有效解决这个问题，可以采取以下方法： …
阅读更多...
1098: 堆的判断

1098: 堆的判断

解法&#xff1a; 堆是完全二叉树 用数组来存储 然后用定义判定 #include<iostream> #include<vector> using namespace std; int main() {int n;cin >> n;vector<int> vec(n);for (int i 0; i < n; i) cin >> vec[i];for (int i 0; i &…
阅读更多...
【Linux】关于获取进程退出状态中的core dump标志补充

【Linux】关于获取进程退出状态中的core dump标志补充

通过 wait/waitpid 可以获取子进程的退出状态, 从而判断其退出结果. 记录退出状态的 int 变量 status 的使用情况如下图所示: 如果是收到信号终止的话, 低 7 位为收到的终止信号, 而低第 8 位为 core dump 标志, core dump 标志有什么用呢? core dump 标志只存 0/1, 表示是否…
阅读更多...
c#自动生成缺陷图像-添加新功能（可从xml直接提取目标数据，然后进行数据离线增强）--20240524

c#自动生成缺陷图像-添加新功能（可从xml直接提取目标数据，然后进行数据离线增强）--20240524

在进行深度学习时，数据集十分重要，尤其是负样本数据。 故设计该软件进行深度学习数据预处理，最大可能性获取较多的模拟工业现场负样本数据集。 该软件基于VS2015、.NETFrameWork4.7.2、OpenCvSharp1.0.0.0、netstandard2.0.0.0、SunnyUI3.2.9.0、SunnyUI.Common3.2.9.0及Ope…
阅读更多...
ClickHouse实战处理（一）：MergeTree表引擎

ClickHouse实战处理（一）：MergeTree表引擎

MergeTree作为家族系列最基础的表引擎&#xff0c;主要有以下特点&#xff1a; 存储的数据按照主键排序&#xff1a;创建稀疏索引加快数据查询速度。支持数据分区&#xff0c;可以通过PARTITION BY语句指定分区字段。支持数据副本。支持数据采样。 一、MergeTree分类和建表参…
阅读更多...
python水果分类字典构建指南

python水果分类字典构建指南

新书上架~&#x1f447;全国包邮奥~ python实用小工具开发教程http://pythontoolsteach.com/3 欢迎关注我&#x1f446;&#xff0c;收藏下次不迷路┗|&#xff40;O′|┛ 嗷~~ 目录 一、引言 二、理解需求 三、构建字典 1. 数据结构选择 2. 代码实现 3. 结果展示 四、总…
阅读更多...
C++实现基础二叉搜索树(并不是AVL和红黑树)

C++实现基础二叉搜索树(并不是AVL和红黑树)

本次实现的二叉搜索树并不是AVL数和红黑树&#xff0c;只是了解流程和细节。 目录 二叉搜索树的概念K模型二叉搜索树的实现二叉搜索树的架构insert插入find 查找中序遍历Inorder删除earse替换法的思路情况一 &#xff1a;假如要删除节点左边是空的。在左边时在右边时 情况二&a…
阅读更多...
JavaScript-数组的增删改查

JavaScript-数组的增删改查

数组的操作一共有四种&#xff1a; 查询数组数据修改数组中元素的值数组添加新的数据删除数组中的元素 数组的初始化 有些编程语言的数组初始化是用{}包着的&#xff0c;而JS的数组初始化用[] let num[2,6,1,77,52,25,7]; 数组的查询 想要具体查询数组中的某个元素 可以用数…
阅读更多...
【Spring Cloud】全面解析服务容错中间件 Sentinel 持久化两种模式

【Spring Cloud】全面解析服务容错中间件 Sentinel 持久化两种模式

文章目录 推送模式本地文件持久化&#xff08;拉模式&#xff09;配置yml编写处理类添加配置演示 配置中心持久化&#xff08;推模式&#xff09;修改nacos在sentinel中生效引入依赖配置文件 修改sentinel在nacos中生效下载源码更改代码演示 总结 推送模式 Sentinel 规则的推送…
阅读更多...
最新文章

Copyright @ 2022~2023