Python 利用pandas处理CSV文件(DataFrame的基础用法)

前面介绍过通过Python标准库中的CSV模块处理CSV文件:
Python 利用CSV模块处理数据

相比CSV模块,pandas的功能更加强大,本文将简单介绍如何通过pandas来处理CSV文件。

文章目录

  • 一、pandas简介
  • 二、用法示例
    • 2.1 读取CSV文件
      • 2.1.1 read_csv参数
      • 2.1.2 "坏行"的处理
    • 2.2 引用数据
      • 2.2.1 位置索引和标签索引
      • 2.2.2 使用[]引用数据
      • 2.2.3 使用.loc属性通过标签引用数据
      • 2.2.4 使用.iloc属性通过位置引用数据
    • 2.3 数据过滤
    • 2.3 写回csv文件

一、pandas简介

pandas是一个第三方数据分析库,其集成了大量的数据分析工具,可以方便的处理和分析各类数据。这是一个第三方库,使用下面的命令可以安装pandas:

pip install pandas

利用pandas处理CSV文件主要分为3步:

  1. 通过read_csv()函数,将数据转化为pandas的DataFrame(数据帧)对象,这是一个二维数据对象,集成了大量数据处理方法。
  2. 操作DataFrame对象,通过自带的方法,完成各种数据处理。
  3. 通过DataFrame对象的to_csv()方法将数据写回CSV文件。

二、用法示例

我们先创建一个示例文件,将下面的数据拷贝到文件employees.csv中并保存:

emp_no,birth_date,first_name,last_name,gender,salary
1,1953-09-02,Georgi,Facello,M,1000
2,1964-06-02,Bezalel,Simmel,F,2000
3,1959-12-03,Parto,Bamford,M,3000
4,1954-05-01,Chirstian,Koblick,M,4000
5,1955-01-21,Kyoichi,Maliniak,M,5000
6,1953-04-20,Anneke,Preusig,F,6000
7,1957-05-23,Tzvetan,Zielinski,F,7000
8,1958-02-19,Saniya,Kalloufi,M,8000
9,1952-04-19,Sumant,Peac,F,9000

数据对应的excel格式,作为参考:
在这里插入图片描述

2.1 读取CSV文件

保证employees.csv文件在当前目录下(或提供文件的绝对路径也可以),例如示例文件保存在d:\dir1目录下,先切换到该目录下:

import os
os.chdir(r'd:\dir1')

在这里插入图片描述

pandas的read_csv函数可以读取CSV文件,并返回一个DataFrame对象,首次使用要先导入pandas模块,使用read_csv()函数读取csv文件,并将返回的DataFrame对象赋给变量名df:

import pandas as pd
df = pd.read_csv('employees.csv')
df

在这里插入图片描述

2.1.1 read_csv参数

read_csv()在读取过程中有很多自定义设置,上面的示例中只提供了文件名,其他参数都采用了默认值。根据数据格式的不同,可能需要对某些参数进行调整,read_csv函数的常用参数如下:

  • sep/delimiter:分隔符,默认为逗号,相当于sep=‘,’,如果文件内容以非逗号分隔,需要显式指定此参数或者使用sep=None来让pandas自己判断分隔符。
  • delim_whitespace:是否以空格作为分隔符,相当于sep=‘\s+’,当这个参数被设置为True时,不能使用sep参数。
  • header:指定第几行作为列名,并指定数据的起始行,默认header=0,表示第1行作为列名(编号从0开始),数据从第二行开始。如果数据中没有列名,需要指定header=None,这样从第1行开始全部都会当成数据。
  • names:用来自定义列名
  • index_col:指定某一列作为行索引(默认是0开始的整数)
  • usecols:选择列的子集,即只读取指定列

示例:仅选取部分列,只读取emp_no,first_name, salary 这3列,使用参数usecols指定这3列:

df1 = pd.read_csv('employees.csv', usecols=['emp_no', 'first_name', 'salary'])

在这里插入图片描述

自定义列名:读取数据并使用col1~col6定义列名,由于原数据第一行为列名,使用header=0指定第一行为列名,这样第一行不会被读作数据。然后使用names参数重新指定列名:

name_list = ['col1', 'col2', 'col3','col4','col5','col6'] 
df2 = pd.read_csv('employees.csv', header=0, names=name_list)

在这里插入图片描述

2.1.2 "坏行"的处理

很多时候我们得到数据格式并不规范,可能出现有些行数据缺失,有些行数据又多。read_csv函数在遇到数据缺失的列会自动用NaN(在pandas中代表空值)来填充(我们把文件中第七行的salary删除,重新读取后,可以看到会用自动用NaN填充):

df2 = pd.read_csv('employees.csv')

在这里插入图片描述

但是对于数据列多的行,默认是报错的。在文件第8行后多加一列数据,提示解析错误,期望6列,但是有7列:

df3 = pd.read_csv('employees.csv')

在这里插入图片描述

对于这类错误,我们可以用on_bad_lines='skip’来跳过这些行,不影响其他数据的读取,从结果也上可以看到emp_no为8的数据被忽略了:

df3 = pd.read_csv('employees.csv', on_bad_lines='skip')

在这里插入图片描述

2.2 引用数据

在完成文件的读取后我们就获得了一个DataFrame对象,利用其自带的方法可以快速进行数据预处理,相对于使用Python代码,可以节约大量逻辑编写的时间。

对数据进行处理的第一步就是引用数据,pandas常用的数据引用方法有:

  • 使用[]对数据进行引用
  • 使用.loc属性通过标签对数据进行引用
  • 使用.iloc属性通过位置对数据进行引用

2.2.1 位置索引和标签索引

在引用数据前先弄清楚位置索引和标签索引:

  • 位置索引:行/列的位置编号,从0开始,公差为1的等差数列,0,1,2,3,4….,一定是数字
  • 标签索引:行/列的"别名",可以自定义。其中行的标签索引又叫"索引标签",列的标签索引又叫"列标签"。
    标签索引如果未显式指定,则默认和位置索引相同。

例如下面的df,红框中的都是标签索引:

  • 列标签是emp_no, birth_date ……,
  • 索引标签由于未显式指定,所以和位置索引相同,为0,1,2,3,4….,但它不是位置索引。
    在这里插入图片描述
    在标签索引中,可以通过df.index和df.columns属性来分别查看索引标签和列标签:
df.index
df.columns

在这里插入图片描述

通过给对应的属性赋值,可以改变标签,通过下面的例子可以直观看到,红框中的0,1,2,3…是索引标签,而不是位置标签:

df.index = [0,1,2,3,'a','b','c','d','e']

在这里插入图片描述

2.2.2 使用[]引用数据

使用df[‘列标签’]的格式,通过列标签可以引用数据列,例如选择frist_name列:

df['first_name']

在这里插入图片描述

如果要引用多个列,以列表的形式传入多个列,例如选择emp_no, first_name, last_name这3列:

df[['emp_no', 'first_name', 'last_name']]

在这里插入图片描述

使用df[start:stop:step]的格式,可以通过位置索引引用行,这和标准的Python切片语法相同(这里不详细介绍):

df[0:4] # 注意[0:4]含头不含尾,即位置索引为0,1,2,3的行

在这里插入图片描述

df[::2]  # 每隔一行选择,start和stop省略代表全部,2代表步长

在这里插入图片描述

df[::-1] # 负的步长代表从结尾开始选择,-1即相当于倒序

在这里插入图片描述

2.2.3 使用.loc属性通过标签引用数据

使用[]的引用方式可能有些复杂,它在引用列的时候用的是标签索引,而在引用行的时候是位置索引。

pandas提供了更直观的.loc和.iloc属性:

  • .loc专门使用标签索引来引用数据(分片含结尾)
  • .iloc专门使用位置索引来引用数据(分片不含结尾)

使用df.loc[‘索引标签’, ‘列标签’]可以引用数据。标签之间用逗号分隔,标签内部的分片用冒号分隔,省略则代表全部。注意,.loc属性中的分片是包含结尾的,这和标准的python分片语法不同。

引用a行(返回的是pandas一维数据类型Series):

df.loc['a']    # 列标签省略,代表所有列,相当于df.loc['a',:]

在这里插入图片描述

引用birth_date列:

df.loc[:,'birth_date']    # 行标签省略,代表所有行,用:占位

在这里插入图片描述

引用a-e行,及emp_no到last_name列,注意e行和last_name列都是包含在分片结果中的:

df.loc['a':'e', 'emp_no':'last_name']

在这里插入图片描述

引用a行,birth_date列的单一元素(没有分片):

df.loc['a', 'birth_date']

在这里插入图片描述

2.2.4 使用.iloc属性通过位置引用数据

.iloc的使用方式和.loc很像,只是将索引标签换成了位置标签。语法为df.iloc[‘行位置索引’, ‘列位置索引’],注意.iloc的分片是不包含结尾的(和python相同)。

引用第1,2行:

df.iloc[0:2]    # 引用行位置索引为0,1的行,2是不包含在结果中的,相当于df.iloc[0:2, :]

在这里插入图片描述

引用第1,2列:

df.iloc[:,0:2]    # 行位置索引的:表示全部行

在这里插入图片描述

引用1,2行的3,4列数据:

df.iloc[0:2, 2:4]

在这里插入图片描述

数据引用配合赋值符号’=',即可以修改DataFrame中的值,例如将emp_no为9的salary改为9999

df.loc['e', 'salary'] = 9999

在这里插入图片描述

其他的数据引用方式还有通过属性进行引用,但这种方式存在缺陷,不推荐,这里也不进行介绍。重点掌握.loc和.iloc的方法即可。

2.3 数据过滤

DataFrame的数据过滤非常方便,例如我要选择salary大于5000的数据,下面表达式即是salary列测试结果,由bool型数据组成:

df['salary']>5000

在这里插入图片描述

只需要将其再代入df,即可筛选出满足条件的数据:

df[ df['salary']>5000 ]

在这里插入图片描述

或者使用query方法,基于字符串形式的条件,直接过滤出结果:

df.query('salary>5000')

在这里插入图片描述

2.3 写回csv文件

完成数据处理后,使用DataFrame对象自带的to_csv方法来将数据写回文件,主要参数与read_csv类似:

  • sep:分隔符,默认是逗号。
  • columns:指定哪些列写入文件
  • header:是否将标题写入文件,默认是True
  • index:是否将行索引写入文件,默认是True

假设要将salary>5000的数据筛选出来后,重新写入一个CSV文件,你可以直接调用DataFrame的to_csv方法:

df_result = df.query('salary>5000')
df_result.to_csv('result.csv', index=False)

在这里插入图片描述
在这里插入图片描述

本文的案例只是展示了最简单及最常用的DataFrame数据处理方法,实际pandas的数据处理功能远远不止这些,有兴趣的同学可以自行深入探索。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/790919.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Databricks 收购 Tabular 的意义:数据开放框架的胜利

Databricks 宣布收购 Tabular,这是一个由 Apache Iceberg 的原始创建者开发的数据平台,在数据分析行业引发了涟漪。此次收购凸显了开放框架在数据领域日益增长的重要性,预示着数据管理、分析和 AI/ML 计划领域的创新、协作和可访问性的新时代…

Prometheus+Grafana主机运行数据

目录 介绍 安装Node Exporter 配置Prometheus 验证配置 导入仪表盘 介绍 Prometheus是一款开源的监控和警报工具,而Node Exporter是Prometheus的一个官方插件,用于采集主机上的各种系统和硬件指标。 安装Node Exporter 下载最新版本的Node Export…

盲盒抽卡机小程序:抽卡机的多样化发展

近几年,盲盒卡牌出现在了大众的生活中,深受学生和年轻消费者的喜爱。卡牌是一种新的盲盒模式,玩家购买后随机获得卡牌,为了收集一整套卡牌,玩家会进行各种复购行为,卡牌逐渐成为了年轻人追捧的休闲方式&…

雨量监测站的重要性有哪些

在全球气候变化和极端天气事件频发的背景下,雨量监测站成为了我们理解降水模式、预测天气变化以及制定应对措施的重要工具。 雨量监测站是一种专门用于测量和记录降水量的设施。它们通过配备高精度的雨量传感器,能够实时监测降雨情况,并提供关…

​​​​​​​生物素化药物分子的特性

生物素化药物分子是指将生物素(维生素H,也称维生素B7或维生素B8)共价连接到药物分子上的过程。这种处理方式为药物分子带来了多种特性和优势,以下是对生物素化药物分子的详细解析: 一、生物素的基本特性 生物素是一种水…

碾压SOTA!最新视觉SLAM:渲染速度提升176倍,内存占用减少150%

视觉SLAM,一种结合了CV与机器人技术的先进方法。与激光SLAM相比,它成本低廉且信息量大,易于安装,拥有更优秀的场景识别能力,因此在自动驾驶等许多场景上都非常适用,是学术界与工业界共同关注的热门研究方向…

【运维】docker批量删除临时镜像(两种方式)

docker批量删除Tag<none>的临时镜像 在开发的时候&#xff0c;需要经常发布开发包&#xff0c;在使用docker build构建镜像的时候&#xff0c;同一个版本经常会使用相同tag&#xff0c;频繁打包一段时间后&#xff0c;本地会出现很多Tag<none>的临时镜像&#xff…

首届UTON区块链开发者计划大会在马来西亚圆满落幕

7月9日&#xff0c;首届UTON区块链开发者计划大会在马来西亚吉隆坡成功举办&#xff01; 来自全球顶尖的行业领袖、技术精英和众多区块链爱好者参与了此次盛会&#xff0c;也标志着UTON区块链生态进入了一个全新的发展阶段。 会上&#xff0c;UTON区块链创始人之一唐毅先生以“…

四道经典算法JAVA

1.爬楼地 爬20个台阶的爬法:f(19)f(18) 经典斐波拉契数列问题 public class demo4 {//爬楼梯问题public static void main(String[] args) {System.out.println(getSum(20));}public static int getSum(int n) {if (n 1)return 1;if (n 2)return 2;return getSum(n - 1) …

从零开始学习嵌入式----Linux系统命令集合与shell脚本

Shell是一门编程语言&#xff0c;作为学习shell的开始&#xff0c;需要事先搞明白&#xff1a;编程的目的是什么&#xff1f;什么是编程语言&#xff1f;什么是编程&#xff1f; shell本身就是一门解释型、弱类型、动态语言&#xff0c;与python相对应&#xff0c;Python属于解…

mysql查询语句执行流程

流程图 连接器&#xff1a;建立连接&#xff0c;管理连接、校验用户身份&#xff1b;查询缓存&#xff1a;查询语句如果命中查询缓存则直接返回&#xff0c;否则继续往下执行。MySQL 8.0 已删除该模块&#xff1b;解析 SQL&#xff0c;通过解析器对 SQL 查询语句进行词法分析、…

服务器提交记录有Merge branch消除

背景&#xff1a;在共同开发分支release上&#xff0c;你提交了commit&#xff0c;push到服务器上时&#xff0c;发现有人先比你push了&#xff0c;所以你得先pull&#xff0c; 后再push&#xff0c;然而pull后自动产生了一个Merge branch的一个commit&#xff0c;这个commit本…

linux watchdog 子系统

目录 一、watchdog 子系统二、关键数据结构2.1 watchdog_device2.2 watchdog_ops2.3 watchdog_info 三、重要流程3.1 watchdog 初始化3.2 watchdog 设备注册3.3 watchdog 设备文件操作函数3.4 watchdog 喂狗用户空间 watchdog&#xff08;busybox&#xff09;内核空间喂狗疑问 …

防火墙综合实验一

目录 实验要求 防火墙准备 IP地址分配 需求一 需求二 需求三 需求四 需求五 需求六 实验要求 1、DMZ区内的服务器&#xff0c;办公区仅能在办公时间内(9:00-18:00)可以访问&#xff0c;生产区的设备全天可以访问。 2、生产区不允许访问互联网&#xff0c;办公区和游客…

单向链表队列

实现单向链表队列的&#xff0c;创建&#xff0c;入队&#xff0c;出队&#xff0c;遍历&#xff0c;长度&#xff0c;销毁。 queue.h #ifndef __QUEUE_H__ #define __QUEUE_H__#include <stdio.h> #include <stdlib.h> #include <string.h> #define max 30…

图论---无向图中国邮路的实现

开始编程前分析设计思路和程序的整体的框架&#xff0c;以及作为数学问题的性质&#xff1a; 程序流程图&#xff1a; 数学原理&#xff1a; 本质上是找到一条欧拉回路&#xff0c;考虑图中的边权重、顶点的度数以及如何通过添加最少的额外边来构造欧拉回路&#xff0c;涉及到欧…

PLC数采网关在实际应用中有哪些效能?天拓四方

在工业自动化领域中&#xff0c;PLC扮演着至关重要的角色&#xff0c;它负责控制和监测生产线的各个环节。然而&#xff0c;随着工业4.0的推进和智能制造的快速发展&#xff0c;单纯依靠PLC进行现场控制已无法满足企业对数据集中管理、远程监控和智能分析的需求。因此&#xff…

筑牢代码安全之盾 —— 沙箱在源代码防泄密中四大特性

在这个数字化飞速发展的时代&#xff0c;源代码作为企业的核心资产&#xff0c;其安全性显得尤为重要。一旦泄露&#xff0c;不仅可能导致知识产权的损失&#xff0c;还可能引发一系列连锁反应&#xff0c;威胁企业的生存和发展。在这样的背景下&#xff0c;SDC沙盒以其独特的产…

洛杉矶裸机云大宽带服务器的特性和优势

洛杉矶裸机云大宽带服务器是结合了物理服务器性能和云服务灵活性的高性能计算服务&#xff0c;为用户提供高效、安全的计算和存储能力。在了解如何使用洛杉矶裸机云大宽带服务器之前&#xff0c;需要了解其基本特性和优势。以下是对洛杉矶裸机云大宽带服务器的具体分析&#xf…

ZFT9-7VE8043-Z同期脉冲发送装置100V JOSEF约瑟 柜内安装

ZFT9(PIG)同期脉冲发送装置 系列型号 ZFT9(PIG) 7VE8033同期脉冲发送装置; ZFT9(PIG) 7VE8043同期脉冲发送装置; ZFT9 7VE8033同期脉冲发送装置; ZFT9 7VE8043同期脉冲发送装置; 用途&#xff1a; ZFT9同期脉冲发送装置用于船舶的三相系统&#xff0c;根据发电机和电力系…