一、需求背景
最近项目实践过程中遇到了一个问题：在使用Navicat将数据导入到PostgreSQL数据库时，发现时间格式的字段中的时间数值发生了变化，导致部分数据的时间不正确，故数据手动导入数据库报错。为了解决这个问题，决定编写Python代码来读取Excel文件，并将数据逐行插入到目标数据库中，以确保时间数据的准确性。
二、实践流程
-
确保已安装所需的Python库（如
pandas和psycopg2），用于处理Excel文件和连接PostgreSQL数据库。 -
准备要导入的Excel文件，确保其中的时间字段格式正确，并且包含需要导入的数据。
-
编写Python脚本来执行数据导入操作。
三、代码实践
import psycopg2
import pandas as pd
# 连接数据库
conn = psycopg2.connect(database='jiangyu_01', user='bigdata', password='postgres', host='192.168.22.168', port='1234')
cur = conn.cursor()
# 读取Excel文件并更新数据库中的数据
def synonym():
data_xls = pd.read_excel('new.xlsx', usecols=[0, 5], Sheetname='news') # 读取Excel文件中的两列数据，Sheet名为'news'
print(len(data_xls))
for data in data_xls.values:
sql = """UPDATE public.jiaozheng_dataxx SET upload_time='{}' WHERE id={}""".format(data[1], data[0])
cur.execute(sql)
conn.commit()
def get_dataset():
# 读取数据库中的数据示例
conn = psycopg2.connect(database='sanyu_01', user='tatt', password='postgres', host='192.168.91.13', port='5432')
cur = conn.cursor()
cur.execute("SELECT * FROM public.jiaozheng_dingweixx LIMIT 1")
data = cur.fetchall()
print(data)
if __name__ == '__main__':
synonym() # 执行更新操作 上述代码是一个例子，实现了通过 psycopg2 库连接到 PostgreSQL 数据库，并读取 Excel 文件中的数据，并将其逐行更新到数据库的指定表 jiaozheng_dataxx 中的 upload_time 字段。
代码中的 synonym() 函数用于读取 Excel 文件 'new.xlsx' 的 'news' Sheet 中的两列数据，并使用 SQL 更新语句将数据逐行更新到数据库中。get_dataset() 函数用于演示从数据库中读取数据的方法。
你可以根据自己的需求，将数据库连接参数、Excel 文件路径、表名和字段名等信息进行相应的修改，以满足你实际的数据库和数据更新需求。同时，你也可以根据需要添加异常处理、日志记录等功能来完善代码。
这样就实现了读取文件插入到数据库的方式，暂时解决当前使用Navicat工具手动导入数据失败的问题。
