【数据分析】matplotlib、numpy、pandas速通

教程链接:【python教程】数据分析——numpy、pandas、matplotlib
资料:https://github.com/TheisTrue/DataAnalysis

1 matplotlib

官网链接:可查询各种图的使用及代码

对比常用统计图
在这里插入图片描述

1.1 折线图

(1)引入

from matplotlib import pyplot as plt

(2) 示例

x = range(2, 26, 2) # 2到25,步长2
y = [15, 13, 14.5, 17, 20, 25, 26, 26, 24, 22, 18, 15]

(3) 设置图片大小

figsize: 图片的 (长, 宽)
dpi: 每英寸像素点的个数,例如选定为 80 (图像模糊时可传入dpi参数使图片年更清晰)

fig = plt.figure(figsize = (20, 8), dpi = 80)

(4) 绘图

plt.plot(x, y)
# plt.plot(x, y, label="day01") # 和后续plt.legend()一起使用
# 这里可添加参数改变图形的样式

(5) 设置刻度

注: 这里绘图和设置刻度的先后顺序影响不大

① 常规

plt.xticks(x)

② range范围

plt.xticks(range(2,25))

③ 增加步长
range无法设置步长,采用列表生成式 [expression for item in iterable if condition]

expression 表示新列表中的元素表达式,item 是迭代器 iterable 中的每个元素,condition 是要应用的筛选条件(可选)

xtick_labels = [i/2 for i in range(4, 49)]
plt.xticks(xtick_labels[::3])              # 在xtick_labels的基础上再设置3的步长(注:这里步长以0.5为准,因为前面是i/2)

xtick_labels = ["hour{}".format(i) for i in range(1,13)]
#plt.xticks() 第一个参数是 x 轴上的位置列表,第二个参数是标签列表
plt.xticks(x,xtick_labels) # 若x为字符串型,则要转换为range(len(x))

plt.yticks(range(min(y1), max(y1)+1))

(6) 添加描述信息

plt.xlabel("Time")                     # 设置 x 轴标签
plt.ylabel("Temperature/℃")           # 设置 y 轴标签
plt.title("Temperature Distribution")  # 设置标题

(7) 绘制网格

plt.grid()

(8)保存

可保存为 svg 矢量图格式,则在缩放过程中不会有锯齿

plt.savefig("./sig_size.png")

(9)展示

plt.show()

补充1 占位符
str.format() 占位符{}

name = "Alice"
age = 25
print("My name is {}, and I am {} years old.".format(name, age))
# 输出:My name is Alice, and I am 25 years old.

注: 这里省略了一个例子,例子包含处理中文显示,可到原视频中学习

补充2 设置中文

plt.rcParams['font.family'] = ['sans-serif'] # 设置默认字体为sans-serif
plt.rcParams['font.sans-serif'] = ['SimHei'] # 设置sans-serif采用SimHei,SimHei 是一种常用的中文字体

汇总

# 1 引入
import matplotlib
from matplotlib import pyplot as plt

matplotlib.rc

# 2 示例
x = range(2, 26, 2) # 2到25,步长2
y1 = [15, 13, 14.5, 17, 20, 25, 26, 26, 24, 22, 18, 15]  # day01
y2 = [14, 16, 15, 13, 18, 21, 27, 28, 26, 21, 13, 13]    # day02
# 3 设置图片大小
# figsize:图片的 (长, 宽)
# dpi:每英寸像素点的个数,例如选定为 80 (图像模糊时可传入dpi参数使图片年更清晰)

fig = plt.figure(figsize = (20, 8), dpi = 80)

# 4 绘图

plt.plot(x, y1, label="day01")
plt.plot(x, y2, label="day02")
# 5 设置刻度
# 注:这里绘图和设置刻度的先后顺序影响不大

#plt.xticks(x)
#plt.xticks(range(2,25))

# range无法设置步长,采用列表生成式 [expression for item in iterable if condition]
# expression 表示新列表中的元素表达式,item 是迭代器 iterable 中的每个元素,condition 是要应用的筛选条件(可选)

#xtick_labels = [i/2 for i in range(4, 49)]
#plt.xticks(xtick_labels[::3])        # 在xtick_labels的基础上再设置3的步长(注:这里步长以0.5为准,因为前面是i/2)

xtick_labels = ["hour{}".format(i) for i in range(1,13)]
#plt.xticks() 第一个参数是 x 轴上的位置列表,第二个参数是标签列表
plt.xticks(x,xtick_labels)	    # 若x为字符串型,则要转换为range(len(x))
plt.yticks(range(min(y1), max(y1)+1))

# 6 添加描述信息
plt.xlabel("Time")                     # 设置 x 轴标签
plt.ylabel("Temperature/℃")           # 设置 y 轴标签
plt.title("Temperature Distribution")  # 设置标题

# 7 绘制网格
plt.grid()

# 8 添加图例 - 即将label显示到图中
# 默认0是寻找最佳位置,此外还有1~10,可自行定义位置 通过ctrl+B两次查看源码
plt.legend()

# 7 保存
# plt.savefig(String pathName):用于保存图片至指定的路径下(可保存为 svg 矢量图格式,则在缩放过程中不会有锯齿)
plt.savefig("./sig_size.png")

# 8 展示
plt.show()

在这里插入图片描述

1.2 绘制其他图形

# 1 散点图
plt.scatter(x,y)

# 2 条形图
plt.bar(x,y)
plth.bar(x,y) #横着的条形图

# 3 直方图
a = [15, 13, 14.5, 17, 20, 25, 26, 26, 24, 22, 18, 15] 
# a是列表 num表将数据分成num组,即num个竖条 
# num的计算公式:极差 / 组距
d = 1    #组距,组距应尽量选择能按公式整除
num = (max(a)-min(a))//d
plt.hist(a,num)   # 纵坐标表每组的组频 可添density=True参数改为频率图

1.3 其他绘图工具

echarts
echarts官网实例
echarts-pink教程

plotly
可视化工具中的github,相比于matplotlib更为简单,图形更漂亮,同时兼容natplotlib和pandas,使用简单,照着文档写即可
plotly文档地址

seaborn
实现略优于Matplotlib的功能,更为方便
seaborn官网

2 numpy

2.1 创建数组

import numpy as np

t1 = np.array([1, 2, 3])
print("t1 =", end=" ")
print(t1)
print(type(t1))
print("="*30)

t2 = np.array(range(10))
print("t2 =", end = " ")
print(t2)
print(type(t2))
print("="*30)

t3 = np.arange(10)
print("t3 =", end = " ")
print(t3)
print(type(t3))
# 输出
t1 = [1 2 3]
<class 'numpy.ndarray'>
==============================
t2 = [0 1 2 3 4 5 6 7 8 9]
<class 'numpy.ndarray'>
==============================
t3 = [0 1 2 3 4 5 6 7 8 9]
<class 'numpy.ndarray'>

2.2 指定数据类型

(1)初始化数据类型
array(obj, dtype=),其中dtype

  • int8i1
  • float16f2
  • c8:即 8 字节的复数 complex64
  • bool:存储 True 或 False 值
    在这里插入图片描述
t4 = np.array(range(10), dtype="i1")
print("t4 = ", t4)
print(t4.dtype)
print("="*50)

t5 = t4.astype("bool")
print("t5 =", end = " ")
print(t5)
print(t5.dtype)

(2)修改数据类型

t4 = np.array(range(10), dtype="i1")
t5 = t4.astype("bool")  # 修改成bool类型
# np.round(b,2) 保留2位小数

(3)生成随机数数组
np.array([rd.random() for i in range(6)]) 注意要有方括号
np.round(obj, bit) 至多保留 bit 位小数

import random as rd

randArray = np.array([rd.random() for i in range(6)])
print("randArray =", end=" ")
print(randArray)

roundedRandArray = np.round(randArray, 2)
print("roundedRandArray =", end=" ")
print(roundedRandArray)

(4)修改数组形状

# 注:以下方法都不会修改到原t
t = np.arrange(12)
t.shape()    # 查看数组形状
t.ashape(12,) # 改成一维数组  t.ashape(1,12) 是1行12列,本质是二维数组
t.ashape(3,4) # 改成二行三列数组
t.ashape(2,2,3) # 改成两块二行三列数组
# 注:ashape中有几个数就是几维数组,数的乘积等于元素个数 如t有12个元素,所以2*2*3=12

t.flatten() # 将数据展开为 1 维的数组
t + 2 # t中的每个元素值都+2,加减乘除都可行
t + t1 # 同维数组对应位置元素可相加减乘除
# 此外不同维度下一些特殊情况也可进行计算,见下图

在这里插入图片描述

(5)轴(Axis)

  • 在numpy中可以理解为方向,使用0,1,2…数字表示,对于一个一维数组,只有一个0轴,对于2维数组(shape(2,2)),有0轴和1轴,对于三维数组(shape(2,2, 3)),,有0,1,2轴
  • np.arange(0,10).reshape((2,5)) reshpe中2表示0轴长度(包含数据的条数)

2.3 数组的索引和分片

(1)numpy读取数据

CSV: Comma-Separated Value,逗号分隔值文件
显示: 表格状态
源文件: 换行和逗号分隔行列的格式化文本,每一行的数据表示一条记录
由于csv便于展示,读取和写入,所以很多地方也是用csv的格式存储和传输中小型的数据,为了方便教学,我们会经常操作csv格式的文件,但是操作数据库中的数据也是很容易的实现的

np.loadtxt(fname,dtype=np.float,delimiter=None,skiprows=0,usecols=None,unpack=False)

注: unpack就是转置
在这里插入图片描述
(2)numpy的转置

# 三个方法任选一个
t.T
t.transpose()
t.swapaxes()

(3)numpy的索引和切片

# coding=utf-8
# coding=utf-8
import numpy as np

# 下两个csv文件在git的day03中
# us_file_path = "./US_video_data_numbers.csv"
# uk_file_path = "./GB_video_data_numbers.csv"

# t1 = np.loadtxt(us_file_path,delimiter=",",dtype="int",unpack=True)
# t2 = np.loadtxt(us_file_path,delimiter=",",dtype="int")
t2 = np.array([
    [1, -5, 12, 9],
    [6, -1, -5, 3],
    [0, 12, 32, 8],
    [1,  2,  3, 4],
    [12,22, 13,24]])
# print(t1)
print(t2)

print("*"*100)

# 取行
print(t2[2]) # 取第3行
print(t2[1,:])    # 取第2行

# 取连续的多行
print(t2[2:]) #从第3行开始取所有行

# 取不连续的多行
print(t2[[0,1,3]])  # 取1,2,4行
print(t2[[1,3,4],:]) # 取第2,4,5行

# 取列
print(t2[:,0])  # 取第1列

# 取连续的多列
print(t2[:,2:])  # 取第3列开始的所有列

# 取不连续的多列
print(t2[:,[0,2]]) # 取第1,3列

# 取i行i列的某个值
a = t2[2,3] # 取第3行,第四列的值
print('a=',a)
print(type(a))

# 取多行和多列,取第3行到第5行,第2列到第4列的结果
# 取的是行和列交叉点的位置
b = t2[2:5,1:4]  #注:索引取到下标为5的前一个位置,即下标为4的位置,也即第5行
print('b=',b)

# 取多个不相邻的点
# 选出来的结果是(0,0) (2,1) (2,3)
c = t2[[0,2,2],[0,1,3]]
print('c=',c)

(4)numpy中数值的修改

在这里插入图片描述

(5)numpy中布尔索引

在这里插入图片描述
(6)numpy中三元运算符
np.where(t<10,0,10) 小于10的替换成0,大于10的替换成10

在这里插入图片描述
(7)numpy中的nan和inf
nan(NAN,Nan):not a number表示不是一个数字
什么时候numpy中会出现nan: 当我们读取本地的文件为float的时候,如果有缺失,就会出现nan
当做了一个不合适的计算的时候(比如无穷大(inf)减去无穷大)
inf(-inf,inf):infinity,inf表示正无穷,-inf表示负无穷
什么时候回出现inf:包括(-inf,+inf) 比如一个数字除以0,(python中直接会报错,numpy中是一个inf或者-inf)
(8)numpy中的clip(裁剪)
t.clip(10,18)小于10的替换成10,大于18的替换成18
在这里插入图片描述

2.4 数组常用方法

2.4.1 数组的拼接

(1)数组的拼接
在这里插入图片描述
(2)数组的行列交换

import numpy as np
t = np.arange(12, 24).reshape(3, 4)
t[[0, 1, 2], :] = t[[1, 0, 2], :]

原:

array([[12, 13, 14, 15],
       [16, 17, 18, 19],
       [20, 21, 22, 23]])

后:

array([[20, 21, 22, 23],
       [12, 13, 14, 15],
       [16, 17, 18, 19]])

(3)数组的其他操作

  • 获取最值
    np.min()
    np.max()

  • 获取最大值最小值的位置
    np.argmax(t,axis=0)
    np.argmin(t,axis=1)

  • 创建一个全0的数组: np.zeros((3,4))

  • 创建一个全1的数组:np.ones((3,4))

  • 创建一个对角线为1的正方形数组(方阵):np.eye(3)

2.4.2 numpy生成随机数

在这里插入图片描述

2.4.3 numpy的注意点copy和view

a=b a只是一个指向b的新引用,且a和b相互影响
a = b[:] 视图的操作,一种切片,会创建新的对象a,但是a的数据完全由b保管,他们两个的数据变化是一致的
a = b.copy() 复制,a和b互不影响

2.4.4 numpy中的nan的注意点

在这里插入图片描述

2.4.5 numpy中常用统计函数

求和:t.sum(axis=None)
均值:t.mean(a,axis=None) 受离群点的影响较大
中值:np.median(t,axis=None)
最大值:t.max(axis=None)
最小值:t.min(axis=None)
极差:np.ptp(t,axis=None) 即最大值和最小值之差
标准差:t.std(axis=None)
在这里插入图片描述

3 pandas

常用数据类型
Series 一维,带标签数组
DataFrame 二维,Series容器

3.1 Series创建

import pandas as pd
# 列表形式
t1 = pd.Series([1,2,3])
t1[t1>1]
# 字典形式
t2 = pd.Series({"name":"hh","age":18}) 
t2[["name","age"]]
t2.index
len(t2.index)
list(t2.index)[:2]

3.2 pandas读取外部文件

pd.read_csv() # 读csv
pd.read_sql() # 读sql

# 从Mongodb读
from pymongo import MongoClient
client = MongoClient()
collection = client["douban"]["tv1"]]
data = list(collection,find())

3.3 DataFrame

3.3.1 索引

DataFrame对象既有行索引,又有列索引
行索引,表明不同行,横向索引,叫index,0轴,axis=0
列索引,表名不同列,纵向索引,叫columns,1轴,axis=1

pd.DataFrame(np.arange(12).reshape(3,4))
pd.DataFrame(np.arange(12).reshape(3,4),index=list("abc"),columns=list("WXYZ"))

在这里插入图片描述
在这里插入图片描述

d1 = {"name":["hh","yy"],"age":[20,22]}

在这里插入图片描述

3.3.2 DatafFrame常用方法

在这里插入图片描述

df.sort_values(by="Count_AnimalName",ascending=False) # ascending为true表升序排序

df.loc 通过标签索引行数据
df.iloc 通过位置获取行数据
在这里插入图片描述
loc
在这里插入图片描述
在这里插入图片描述
iloc

在这里插入图片描述
在这里插入图片描述

3.3.3 pandas的布尔索引

在这里插入图片描述

3.3.4 pandas之字符串方法

df.str.xxx
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/345199.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

时间序列大模型:TimeGPT

论文&#xff1a;https://arxiv.org/pdf/2310.03589.pdf TimeGPT&#xff0c;这是第一个用于时间序列的基础模型&#xff0c;能够为训练期间未见过的多样化数据集生成准确的预测。 大规模时间序列模型通过利用当代深度学习进步的能力&#xff0c;使精确预测和减少不确定性成为…

力扣hot100 排序链表 归并排序 递归

Problem: 148. 排序链表 &#x1f469;‍&#x1f3eb; 参考 &#x1f496; 归并排序&#xff08;递归&#xff09; ⏰ 时间复杂度: O ( n ) O(n) O(n) &#x1f30e; 空间复杂度: O ( n ) O(n) O(n) /*** Definition for singly-linked list.* public class ListNode {*…

【Go学习】Ginkgo测试框架学习实践 + 问题记录 + 怎么解决(0)

1、ginkgo测试框架介绍&#xff1a;https://onsi.github.io/ginkgo/ 2、重点是学习实践 问题记录 怎么解决 3、送福利&#xff1a;国内好用的ChatGpt有很多&#xff0c;比如&#xff1a;天工、文心一言、讯飞星火、通义万相等 1. 安装 xxxmacdeMacBook-Pro-3  /Volumes/mac…

Linux驱动程序

驱动程序框架: dev_t dev_num; struct file_operations fops {.open //define function.read //define function.write //define function };struct cdev dev;demo_init() { MKDEV(); cdev_init(); cdev_add(); register_chrdev_region(); //class_create(); //device…

opendds之GUID理解

在opendds的调试日志中大量充斥各种entity的guid&#xff0c;如下所示&#xff1a; (838182|838209) DataLink::release_reservations() - releasing association local: 0103bab5.84e0eba6.ca269681.01000004(b02bd8da) <--> with remote 0103bab5.84e0eba6.a56d6aff.01…

自定义错误页面在Spring Boot中的实现

引言 在SpringBoot中&#xff0c;常用的异常处理有两种&#xff1a;一种是 BasicErrorController&#xff0c;另一种是 ControllerAdvice。BasicErrorController 用于处理非Controller抛出的异常&#xff0c;而ControllerAdvice 用于处理Controller抛出的异常&#xff0c;对于…

2024 年 7 个 Web 前端开发趋势

希腊哲学家赫拉克利特认为&#xff0c;变化是生命中唯一不变的东西。这句话适用于我们的个人生活、行业和职业领域。 尤其是前端开发领域&#xff0c;新技术、开发趋势、库和框架不断涌现&#xff0c;变化并不陌生。最近发生的一些事件正在改变开发人员构建网站和 Web 应用的方…

【前端web入门第一天】01 开发环境、HTML基本语法文本标签

文章目录: 1. 准备开发环境 1.1 vs Code基本使用 2.HTML文本标签 2.1 标签语法2.2 HTML基本骨架2.3 标签的关系2.4 注释2.5 标题标签2.6 段落标签2.7 换行与水平线标签2.8 文本格式化标签 1. 准备开发环境 VSCode与谷歌浏览器离线版,安装包评论区自提. VSCode默认安装位置:C…

动态IP与静态IP有何区别?怎么使用选择?

动态代理IP和静态代理IP在跨境业务中具有非常广泛的实用性&#xff0c;但仍然有非常多小白选手并不清楚什么场景适合用哪一类IP&#xff0c;哪一中代理IP类型更适合你&#xff1f;其实他们各有其优点和缺点&#xff0c;为了使您的网络营销、社媒推广、跨境电商运营、网络抓取尽…

【AI视野·今日NLP 自然语言处理论文速览 第七十五期】Thu, 11 Jan 2024

AI视野今日CS.NLP 自然语言处理论文速览 Thu, 11 Jan 2024 Totally 36 papers &#x1f449;上期速览✈更多精彩请移步主页 Daily Computation and Language Papers Leveraging Print Debugging to Improve Code Generation in Large Language Models Authors Xueyu Hu, Kun K…

跟着我学Python进阶篇:04. 错误和异常

往期文章 跟着我学Python基础篇&#xff1a;01.初露端倪 跟着我学Python基础篇&#xff1a;02.数字与字符串编程 跟着我学Python基础篇&#xff1a;03.选择结构 跟着我学Python基础篇&#xff1a;04.循环 跟着我学Python基础篇&#xff1a;05.函数 跟着我学Python基础篇&#…

03 SpringBoot实战 -微头条之首页门户模块(跳转某页面自动展示所有信息+根据hid查询文章全文并用乐观锁修改阅读量)

1.1 自动展示所有信息 需求描述: 进入新闻首页portal/findAllType, 自动返回所有栏目名称和id 接口描述 url地址&#xff1a;portal/findAllTypes 请求方式&#xff1a;get 请求参数&#xff1a;无 响应数据&#xff1a; 成功 {"code":"200","mes…

SPE单对以太网线束测试

根据IEC63171-1&#xff0c;严格执行此标准&#xff0c;进行测试&#xff1a; 两端压接的LC端子&#xff0c;有人会有疑问为什么以上测试参数的DC LOOP电阻&#xff0c;那么高&#xff0c;今天就此来探讨一下&#xff1a; 1&#xff0c;没有2m的线做基准测试&#xff1b; 2&a…

Win11在某些时候想要关闭windows安全中心应该怎么做,安装navicat事例

比如在安装navicat时&#xff0c;需要注册&#xff0c;注册机被删&#xff0c;就是windows安全中心干的&#xff0c;所以要想办法&#xff0c;不让他把注册机删掉&#xff0c;那么这里有一个比较巧妙的办法&#xff0c;就使用排除项&#xff0c;关闭 实时保护&#xff0c; 添…

机器学习核心算法

目录 逻辑回归 算法原理 决策树 决策树算法概述 树的组成 决策树的训练与测试 切分特征 衡量标准--熵 信息增益 决策树构造实例 连续值问题解决 预剪枝方法 分类与回归问题解决 决策树解决分类问题步骤 决策树解决回归问题步骤 决策树代码实例 集成算法 Baggi…

泡泡玛特旗下IP亮相2024米兰时装周 LABUBU等化身时尚观察员​

2024年1月14日&#xff0c;在意大利米兰时装周上&#xff0c;泡泡玛特旗下IP THE MONSTERS成员LABUBU、ZIMOMO惊艳亮相PRONOUNCE珀琅汐2024秋冬大秀现场&#xff0c;作为时尚观察员的LABUBU和ZIMOMO以其独特的潮玩形象打动了顶级时尚圈。 据了解&#xff0c;泡泡玛特和PRONOUNC…

纯前端实现上一条下一条切换,并实现跨页切换上一条下一条

1.开发遇到了新的需求&#xff1a;再进入到视频播放界面&#xff0c;需要支持可以点击上一条下一条按钮&#xff0c;实现数据切换的功能 2.功能开发的理解 需要考虑到以上的需求&#xff0c; 1.由于视频的入口不一致&#xff0c;要根据入口的不同&#xff0c;实现不同的上一条…

手动加好友太麻烦,想要自动加好友?

问&#xff1a;手上有一批客户数据&#xff0c;但每天手动添加很费时&#xff0c;而且还是多个微信号同时加好友&#xff0c;很容易出现数据重复加怕出错。有没有什么方法可以自动加好友呀&#xff0c;能支持多个号一起设置自动加好友&#xff0c;还可以设置定时启动任务操作的…

Linux docker 容器安装superset全部过程(superset docker版本)

解释一波 Apache Superset是一款由Python语言为主开发的开源时髦数据探索分析以及可视化的报表平台&#xff1b;她支持丰富的数据源&#xff0c;且拥有多姿多彩的可视化图表选择。 官网 &#xff1a;https://superset.apache.org/github &#xff1a;https://github.com/apache…

夜莺监控发布 v6.7 版本,推送部分商业版功能

熟悉夜莺的小伙伴都知道夜莺分为开源版、专业版、企业版&#xff0c;三个版本良性发展。近期夜莺团队发布了 v6.7 版本&#xff0c;把机器Metadata管理功能推送到了开源版&#xff0c;下面是该功能的简单介绍。 如上图&#xff0c;机器列表页面的机器标识部分&#xff0c;加了超…