机器学习 | 深入探索Numpy的高性能计算能力

目录

初识numpy

numpy基本操作

数组的基本操作

ndarray运算

数组间运算

矩阵


初识numpy

Numpy(Numerical Python)是一个开源的Python科学计算库,用于快速处理任意维度的数组。Numpy支持常见的数组和矩阵操作。对于同样的数值计算任务,使用Numpy比直接使用Python要简洁的多。

Numpy使用ndarray对象来处理多维数组,该对象是一个快速而灵活的大数据容器。它描述了相同类型的“item”的集合。ndarray 对象是在连续的内存块中分配的,因此访问和处理元素的速度比 Python 的原生列表更快,以下是ndarray与原生python在效率上的对比:

import random
import time
import numpy as np

a = []
for i in range(100000000):
    a.append(random.random())
# 通过%time魔法方法,查看当前行的代码运行一次所花费的时间
%time suml = sum(a)
b = np.array(a)
%time sum2 = np.sum(b)

机器学习最大的特点就是大量的数据运算,那么没有一个快速的解决方案的话,那可能现在的py也在机器学习领域达不到好的效果。 Numpy专门针对ndarray的操作和运算进行了设计,所以数组的存储效率和输入输出性能远优于Python中的嵌套列表,数组越大,Numpy的优势就越明显。

从下图我们可以看出:ndarray在存储数据的时候,数据与地址都是连续的,这样就使得批量操作数据元素时速度更快,而python原生list就只能通过寻址方式找到下一个元素。

以下是ndarray的常用属性介绍:

属性名字属性解释
ndarray.shape数组维度的元组
ndarray.ndim数组维度
ndarray.size数组中的元素数量
ndarray.itemsize一个数组元素的长度(字节)
ndarray.dtype数组元素的类型

以下根据表格的情况,进行下面的测试来验证常用属性的使用

numpy基本操作

以下解释使用numpy的一些基本操作:

生成0,1数组:我们也可以通过numpy生成特殊的0,1数组操作:

生成现有数组:通过下面的方式将现有的数组生成ndarray形式:

a = np.array([[1,2,3], [4,5,6]])
# 从现有的数组中创建
a1 = np.array(a)
# 相当于索引的形式,并没有真正的创建一个新的
a2 = np.asarray(a)

array和asarray的不同在于,array是深拷贝而asarray是浅拷贝,如下:

生成固定范围数组:通过numpy的函数生成一个固定范围的数组

生成随机数组:生成随机数组采用正态分布的方式进行,生成正态分布的方式有以下三种:

# 返回一组均匀分布的数
np.random.randn(d0, d1,..., dn)

# loc:此概率分布的均值(对应着整个分布的中心centre)
# scale:此概率分布的标准差(对应于分布的宽度,scale越大越矮胖,scale越小,越瘦高)
# size:输出的shape,默认为None,只输出一个值
np.random.normal(loc=0.0,scale=1.0,size=None)

# 一个均匀分布[low,high)中随机采样,注意定义域是左闭右开,即包含low,不包含high.
# low:采样下界; high:采样上界; size:输出样本数目 返回值:ndarray类型
np.random.uniform(low=0.0,high=1.0,size=None)

# 返回指定形状的标准正态分布的数组。
np.random.standard_normal(size=None)

# 从一个均匀分布中随机采样,生成一个整数或N维整数数组。
# 取数范围:若high不为None时,取[low,high)之间随机整数,否则取值[0,low)之间随机整数。
np.random.randint(low,high=None,size=None,dtype='/")

在正态分布当中,我们采用如下的例子:

在均匀分布当中,我们采用如下的例子:

我们也可以模拟一组均值为0,方差为1的在某个正态分布内的数据:

数组的基本操作

当我们使用numpy生成ndarray数组后,如何对数组进行相应的操作呢?如下开始讲解:

数组的索引切片:直接对某维数组进行索引和切片,然后返回我们想要的数据:

形状修改: 修改数组的形状可以采用如下的三种方式:

# 返回一个具有相同数据域,但shape不一样的视图,行、列不进行互换
ndarray.reshape(shape,order)

# 修改数组本身的形状(需要保持元素个数前后相同),行、列不进行互换
ndarray.resize(new_shape)

# 数组的转置,将数组的行、列进行互换
ndarray.T

类型修改:通过如下的方式修改数组的类型

数组去重:如果想数组去重的话可以采用如下的方式进行

ndarray运算

通过ndarray运算,我们可以筛选符合某一条件的数据,以下是使用的一些常用方法:

逻辑运算:逻辑运算可以采用如下的方式进行筛选数组

将大于60的值赋值为1:

通用判断函数:通用判断函数可以采用如下的方式进行筛选数组

三目运算符:三目运算符可以采用如下的方式进行筛选数组

统计运算:统计运算可以采用如下的方式进行筛选数组

数组间运算

我们也可以通过numpy实现数组与数、数组与数组以及数组间运算的广播机制等操作。

数组与数运算:可以看如下操作

数组与数组运算:数组在进行矢量化运算时,要求数组的形状是相等的。当形状不相等的数组执行算术运算的时候,就会出现广播机制,该机制会对数组进行扩展,使数组的shape属性值一样,这样,就可以进行矢量化运算了。下面通过一个例子进行说明:

广播机制实现了时两个或两个以上数组的运算,即使这些数组的shape不是完全相同的,只需要满足如下任意一个条件即可。

1)数组的某一维度等长。

2)其中一个数组的某一维度为1。

矩阵

在numpy中进行矩阵相乘的api是:

np.matmul、np.dot

np.matmul和np.dot的区别:

二者都是矩阵乘法。np.matmul中禁止矩阵与标量的乘法。在矢量乘矢量的内积运算中,np.matmul与np.dot没有区别。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/349724.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

k8s 进阶实战笔记 | Pod 创建过程详解

Pod 创建过程详解 ​ 初始状态0 controller-manager、scheduler、kubelet组件通过 list-watch 机制与 api-server 通信并检查资源变化 第一步 用户通过 CLI 或者 WEB 端等方式向 api-server 发送创建资源的请求(比如:我要创建一个replicaset资源&…

Hadoop3.x源码解析

文章目录 一、RPC通信原理解析1、概要2、代码demo 二、NameNode启动源码解析1、概述2、启动9870端口服务3、加载镜像文件和编辑日志4、初始化NN的RPC服务端5、NN启动资源检查6、NN对心跳超时判断7、安全模式 三、DataNode启动源码解析1、概述2、初始化DataXceiverServer3、初始…

聚道云软件连接器:打通金蝶云星空与招商银行CBS,提升企业财务和银行业务效率

【客户介绍】 某企业是一家从事电子商务的企业,随着业务的不断扩大,对于财务管理和银行业务的需求也越来越高。该企业希望能够实现财务和银行业务的自动化处理,提高工作效率。由于业务的不断发展,企业面临着越来越多的资金管理挑…

零基础学习数学建模——(四)备战美赛

本篇博客将讲解如何备战美赛。 什么是美赛 美赛,全称是美国大学生数学建模竞赛(MCM/ICM),由美国数学及其应用联合会主办,是最高的国际性数学建模竞赛,也是世界范围内最具影响力的数学建模竞赛。 赛题内容…

Oracle触发器简单应用示例(销售与库存)

目录 一、应用描述 1、应用场景: 2、具体场景: 二、表结构介绍 1、表名介绍: 2、表结构: 三、设置触发器 四、运行示例 1、初始库存描述 2、有库存情况 2.1 1001号产品售出1件 2.2 1001号产品库存已减1 3、无库存情况…

外汇天眼:QoinTech误信假老师话术投资外汇,惨遭黑平台滑点爆仓拒出金

去年11月与12月,外汇天眼先后发布了「钓鱼广告诱加投资群组,限制出金逼迫缴分成费」与「假投顾诱导投资黄金获利,黑平台操作爆仓狠诈700万」这2篇文章,曝光黑平台QoinTech的诈骗手法,呼吁投资人不要上当,没…

[SwiftUI]修改状态栏文字颜色

问题: 如图,在项目 Info.plist 中,将 UIViewControllerBasedStatusBarAppearance 设置为 NO,将UIStatusBarStyle设置为Light Content后,APP的状态栏字体颜色仍然是黑色没变成白色。 修复: https://stacko…

uniapp vuecli项目融合[小记]:将多个项目融合,打包成一个小程序/App,拆分多个H5应用

前言: 目前两个uniapp vuecli开发的项目【A、B】,新规划的项目C:需要融合项目B 80%的功能模块,同时也需要涵盖项目A的所有功能模块。 应用需求: 1、新项目C【小程序】可支持切换到应用A/C界面【内部通过初始化、路由跳…

便捷接口调测:API 开发工具大比拼 | 开源专题 No.62

hoppscotch/hoppscotch Stars: 56.1k License: MIT Hoppscotch 是一个开源的 API 开发生态系统,主要功能包括发送请求和获取实时响应。该项目具有以下核心优势: 轻量级:采用简约的 UI 设计。快速:实时发送请求并获得响应。支持多…

直播项目开发

uni-aapp,egg.js,直播服务器自己搭建,Node.js,socket.io实时送礼物,充值,兼容Android,iOS,小程序,充值时用到微信支付,直播分为主播端和用户端,主播端有摄像头…

湿法蚀刻酸洗槽—— 应用半导体新能源光伏光电行业

PFA清洗槽又被称为防腐蚀槽、酸洗槽、溢流槽、纯水槽、浸泡槽、水箱、滴流槽,是四氟清洗桶后的升级款,是为半导体光伏光电等行业设计,一体成型,无需担心漏液。主要用于浸泡、清洗带芯片硅片电池片的花篮。 由于PFA的特点它能耐受…

分钟级实时数据分析的背后——实时湖仓产品解决方案

随着信息技术的深入应用,企业对市场的响应速度也在不断提升,而且这种响应速度正在变得越来越快,没有最快只有更快。对数据实时性要求的提高,是眼下很多企业遇到的一个新的挑战。 从生产侧的视角来看,系统实时监控与实…

大白话带你认识 JVM

大白话带你认识 JVM 文章目录 大白话带你认识 JVM前言一、JVM 的基本介绍1.1 Java 文件是如何被运行的① 类加载器② 方法区③ 堆④ 栈⑤ 程序计数器小总结1.2 简单的代码例子二、类加载器的介绍2.1 类加载器的流程2.1.1 加载2.1.2 链接2.1.3 初始化2.1.4 卸载2.2 类加载器的加…

c++入门学习(十八)赋值运算符

简单赋值运算符(): 最基本的赋值运算符是“”。它表示将右侧的值赋给左侧的变量。例如,x 5意味着将值5赋给变量x。 增量赋值运算符: 这是一组在赋值的同时对变量进行递增操作的运算符。常见的有、-、*、/等。例如&…

选择海外云手机需要考虑什么?

随着跨境电商行业的蓬勃发展,企业们纷纷寻找提升平台流量和广告投放效果的方法,这已成为业界的当务之急。传统的宣传模式在国内受到直播和链接带货等新兴方式的冲击,而在国外,类似的趋势也在悄然兴起,呈现出广阔的发展…

基于Docker、Minikube在PC端构建K8S试验环境

在桌面电脑上使用Docker和Minikube构建Kubernetes(K8S)试验环境,为学习和测试提供了一个理想的平台。Docker的容器化技术允许在隔离的环境中运行应用,而Minikube则简化了在单节点上部署和管理Kubernetes集群的过程。这种组合使得个…

100.乐理基础-五线谱-是否需要学习五线谱

内容参考于:三分钟音乐社 上一个内容:99.乐理基础-简谱的多声部-CSDN博客 简谱与五线谱的区别,各自的优劣势、使用场景、范围等: 要搞懂这个问题,其实核心就是四个词:首调、固定调、单声部、多声部 首调、…

高斯分布的应用,正态分布的实践应用,什么是极大似然估计法

目录 高斯分布的应用 正态分布的实践应用 什么是极大似然估计法 高斯分布的应用

Web04--Flex布局

1、flex布局 1.1 flex认识 1.2 flex组成 1.3 flex布局 1.3.1 主轴对齐方式 <!DOCTYPE html> <html lang"CN"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.…

Optional lab: Linear Regression using Scikit-LearnⅠ

scikit-learn是一个开源的、可用于商业的机器学习工具包&#xff0c;此工具包包含本课程中需要使用的许多算法的实现 Goals In this lab you will utilize scikit-learn to implement linear regression using Gradient Descent Tools You will utilize functions from sci…