4.1 读写不同数据源的数据

4.1 读写不同数据源的数据

  • 4.1.1 读写数据库数据
    • 1、数据库数据获取
    • 2、数据库数据存储
  • 4.1.2 读写文本文件
    • 1、文本文件读取
    • 2、文本文件存储
  • 4.1.3 读写Excel文件
    • 1、Excel文件读取
    • 2、Excel文件存储
  • 完整代码

4.1.1 读写数据库数据

1、数据库数据获取

pandas提供了读取与存储关系型数据库数据的函数与方法。除了pandas库外,还需要使用SQLAlchemy库建立对应的数据库连接。SQLAlchemy配合相应数据库的Python连接工具(例如MySQL数据库需要安装mysqlclient或者pymysql库),使用create_engine函数,建立一个数据库连接。
from sqlalchemy import create_engine ## 创建一个mysql连接器,
engine = create_engine('mysql+pymysql://root:123456@127.0.0.1:3306/test?charset=utf8’)
usarrest = pd.read_sql_table(‘usarrest’, con = engine) # 使用read_sql_table读取订单详情表
usarrest2 = pd.read_sql(‘select * from usarrest’, con = engine) # 使用read_sql读取订单详情表

pandas.read_sql_table(table_name, con, schema = None, index_col= None, coerce_float = True, columns = None)只能读取数据库的某一个表格,不能实现查询的操作。
pandas.read_sql_query(sql, con, index_col = None, coerce_float = True)只能实现查询操作,不能直接读取数据库中的某个表。
pandas.read_sql(sql, con, index_col = None, coerce_float = True, columns = None)是两者的综合,既能读取数据库中的某一个表,又能实现查询操作。

2、数据库数据存储

DataFrame.to_sql(name, con, if_exists = ‘fail’, index = True, index_label = None, dtype = None)

4.1.2 读写文本文件

1、文本文件读取

CSV是一种用分隔符分隔的文件格式,又被称为字符分隔文件

pandas.read_table(filepath, sep=‘\t’, header = ‘infer’, names = None, index_col = None, dtype = None, encoding = utf-8, engine = None, nrows = None)
pandas.read_csv(filepath, sep = ‘,’, header = ‘infer’, names = None, index_col = None, dtype = None, encoding=utf-8, engine=None, nrows=None)
在这里插入图片描述

# 文本文件读取
import pandas as pd
data1 = pd.read_table('E:/Input/info.csv')
print(data1)
data = pd.read_csv('E:/Input/info.csv')
print(data)

在这里插入图片描述

2、文本文件存储

文本文件的存储和读取类似,结构化数据可以通过pandas中的to_csv函数实现以csv文件格式存储文件。
DataFrame.to_csv(path_or_buf=None, sep=‘,’, na_rep=‘’, columns=None, header=True,
index=True, index_label=None, mode=‘w’, encoding=None)
在这里插入图片描述

# 文本文件存储
data.to_csv('E:/Output/out.csv', index=False)

4.1.3 读写Excel文件

1、Excel文件读取

pandas提供了read_excel函数来读取“xls”“xlsx”两种Excel文件
pandas.read_excel(io, sheetname=0, header=0, index_col=None, names=None, dtype=None)在这里插入图片描述

# Excel文件读取
data2 = pd.read_excel('E:/Input/info_xlsx.xlsx')
print(data2.head(3))

在这里插入图片描述

2、Excel文件存储

将文件存储为Excel文件,可以使用to_excel方法。其语法格式如下。
DataFrame.to_excel(excel_writer=None, sheetname=‘None’, na_rep=‘’, header=True, index=True, index_label=None, mode=‘w’, encoding=None)
与to_csv方法的常用参数基本一致,区别之处在于指定存储文件的文件路径参数名称为excel_writer,并且没有sep参数,增加了一个sheetnames参数用来指定存储的Excel sheet的名称,默认为sheet1。

data2.to_excel('E:/Output/out_excel.xlsx')

完整代码

import pandas as pd
from pandas import DataFrame

# 文本文件读取
data1 = pd.read_table('E:/Input/info.csv')
print(data1.head(3))  # 打印前三行
data = pd.read_csv('E:/Input/info.csv')
print(data.head(3))
# 文本文件存储
data.to_csv('E:/Output/out.csv', index=False)
# Excel文件读取
data2 = pd.read_excel('E:/Input/info_xlsx.xlsx')
print(data2.head(3))
# Excel文件存储
data2.to_excel('E:/Output/out_excel.xlsx')

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/6915.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

为什么说网络安全行业是 IT 行业最后的红利?

一、为什么选择网络安全? 这几年随着我国《国家网络空间安全战略》《网络安全法》《网络安全等级保护 2.0》等一系列政策/法规/标准的持续落地,网络安全行业地位、薪资随之水涨船高。 未来 3-5 年,是安全行业的黄金发展期,提前踏…

Android OKHttp源码解析

Https是Http协议加上下一层的SSL/TSL协议组成的,TSL是SSL的后继版本,差别很小,可以理解为一个东西。进行Https连接时,会先进行TSL的握手,完成证书认证操作,产生对称加密的公钥、加密套件等参数。之后就可以…

jenkins打包发布前端项目

1.配置前端nodejs打包环境 1.1安装nodejs插件 1.2配置jenkins nodejs环境 2.下载git插件(使用此插件配置通过gitlab标签拉取项目) 3.创建一个自由风格的发布项目 4.配置项目构建流程 4.1添加钉钉告警 4.2配置参数化构建 4.3配置源码管理为git拉取项目 4.4配置构建环境 4.5配置…

Graphic Game(思维 + 模拟删点)

C-Graphic Game_2022年江西省大学生程序设计竞赛(正式赛) (nowcoder.com) Topic describes eightCirno被推荐了一个游戏,她决定今天和Daiyousei一起玩。最初,有一个具有2 n个顶点和m条边的图。在每一个转弯,Cirno和Da…

SpringBoot+Shiro框架整合实现前后端分离的权限管理基础Demo

记录一下使用SpringBoot集成Shiro框架实现前后端分离Web项目的过程,后端使用SpringBoot整合Shiro,前端使用vueelementUI,达到前后端使用token来进行交互的应用,这种方式通常叫做无状态,后端只需要使用Shiro框架根据前端…

【云原生进阶之容器】第五章容器运行时5.4--容器运行时之Firecracker

1 Firecracker诞生背景 近些年 AWS 非常推崇无服务器模式

用Cmake构建第一个C++项目

ps:由于工作需求,需要涉及到跨平台。 概念 Cmake是一个款平台的构建工具,可以自动生成各种不同平台和编译器的构建脚本,使得项目在不同平台和编译器下都能够正常构建和运行。 CMake有自己的一套语法,需要学习CMake的…

上海亚商投顾:两市成交创年内新高 人工智能再爆发

上海亚商投顾前言:无惧大盘涨跌,解密龙虎榜资金,跟踪一线游资和机构资金动向,识别短期热点和强势个股。 市场情绪三大指数今日高开高走,沪指震荡反弹逼近3300点,创业板指午后涨超1.7%,科创50指数…

springboot 配置文件、多环境配置、运行优先级

前言 提问:springboot项目,开发环境、测试环境和生产环境配置文件如何分开表示? 答:多profile文件方式 1、多环境配置(profile) 1.1、properties文件配置 application.properties:主配置文…

基于html+css的between布局

准备项目 项目开发工具 Visual Studio Code 1.44.2 版本: 1.44.2 提交: ff915844119ce9485abfe8aa9076ec76b5300ddd 日期: 2020-04-16T16:36:23.138Z Electron: 7.1.11 Chrome: 78.0.3904.130 Node.js: 12.8.1 V8: 7.8.279.23-electron.0 OS: Windows_NT x64 10.0.19044 项目…

【算法系列之动态规划IV】完全背包

完全背包 解题思路 01背包的核心思路&#xff0c;为了保证每个物品仅被添加一次&#xff0c;01背包内嵌的循环是从大到小遍历。 for(int i 0; i < weight.size(); i) { // 遍历物品for(int j bagWeight; j > weight[i]; j--) { // 遍历背包容量dp[j] max(dp[j], dp…

【云原生】k8s集群命令行工具kubectl之应用部署命令详解

kubectl应用部署命令详解一、准备工作1.1、Replication Controller1.2、Deployment1.3、DaemonSet1.4、查看创建的svc和pod1.5、kubectl 命令自动补全设置二、应用部署命令2.1、diff2.2、apply2.3、replace2.4、rollout2.4.1、history2.4.2、pause2.4.3、resume2.4.4、restart2…

Java 常量池分析

Java常量池 常量池&#xff1a;存放所有常量 常量池是Class文件中内容最为丰富的区域。常量池对于Class文件中的字段和方法解析也有着至关重要的作用。 随着Java虚拟机的不断发展&#xff0c;常量池的内容也日渐丰富。可以说&#xff0c;常量池是整个Class文件的基石。 在版…

HMC717ALP3E-ASEMI代理ADI(亚德诺)车规级芯片HMC717ALP3E

编辑-Z HMC717ALP3E参数描述&#xff1a; 频率范围&#xff1a;4.8 - 6.0GHz 增益&#xff1a;12.5dB 噪声系数&#xff1a;1.3dB 输入回波损耗&#xff1a;8dB 输出回波损耗&#xff1a;13dB 1 dB压缩的输出功率&#xff08;P1dB&#xff09;&#xff1a;12dBm 饱和输…

2023首届大学生算法大赛 - 村庄

读题可以发现&#xff0c;如果两个村庄不能互相连通&#xff0c;那就算作一对 &#xff08;a<b&#xff09;。 显然是可以用floyd全局多源最短路来做的&#xff0c;如果不存在最短路&#xff0c;那么就是不能互通&#xff0c;但是这道题的数据范围N<10^5&#xff0c;跑f…

SpringCloud之Eureka原理分析与实战(注册与发现)

目录 1、从本质理解服务治理思想 2、为什么选择Spring Cloud服务治理组件 3、Spring Cloud Eureka服务发现 3.1 Eureka的优势 3.2 Eureka架构组成 3.3 搭建Eureka Server 实战 3.3.1 添加依赖 3.3.2 开启服务注册 3.3.3 添加YML配置 3.3.4 访问服务 3.4 搭建Eureka …

IT服务商服务运营方案--PIGOSS BSM +TOC 服务加工具的新型运维模式

该解决方案适用于各种数据中心端专业运维服务商&#xff0c;包括驻场服务商&#xff0c;MA服务商&#xff0c;ITO服务商&#xff0c;IDC服务商&#xff0c;云运维服务商等 PIGOSS 是专业服务商的共同选择 专业的服务团队离不开专业的技术平台和技术工具&#xff0c;PIGOSS TOC…

echarts柱状图

1、先展示效果图 2、直接上代码&#xff0c;copy代码进行调试便会懂&#xff08;导入echarts插件看之前的文章&#xff09; <template><div class"antigen-container"><div class"top-content"><span class"top-title"&g…

电商商品详情API接口,python请求示例说明

PC端商品详情接口&#xff0c;H5商品详情接口&#xff0c;APP商品详情接口&#xff0c;商品详情接口&#xff0c;商品销量接口&#xff0c;商品列表接口&#xff0c;商品属性接口&#xff0c;商品sku接口&#xff0c;商品评论接口&#xff0c;商品优惠价接口&#xff0c;商品历…

求职咨询Job Information

前言 加油 原文 求职咨询常用会话 ❶ I want to apply for a job which enables me to use my major. 我想要申请一个能用到我的专业知识的职业。 ❷ I have the capability of operating the computer. 我有操作电脑的能力。 ❸ My dream is to be an excellent interpret…