基本想法
遍历文件夹并从中找到文件名称符合我们需求的多个.txt格式文本文件,并从每一个文本文件中,找到我们需要的指定数据,最后得到所有文本文件中我们需要的数据的集合
举例
如现有名为file一个文件夹,里面含有大量的.txt格式文本,需要从文件名中找到含有test字段的文件,并且取出name是李四、李五、王五的用户数据。
代码示例
# -*- coding: utf-8 -*-
import os
import pandas as pd
def concat_data(ori_path, target_list):
result_df = pd.DataFrame()
for file in os.listdir(ori_path):
if file.endswith(".txt") and file[0:4] == "test":
file_path = os.path.join(ori_path, file)
df = pd.read_csv(file_path, delimiter="\t")
# try:
select_df = df[df["Name"].isin(target_list)]
data_append = select_df
if not data_append.empty:
result_df = pd.concat([result_df, data_append])
# except:
# pass
# result_df.reset_index(drop=False, inplace=True).drop(['index'], axis=1)
result_df.to_csv(ori_path + '/result.csv', encoding='ANSI')
return result_df
if __name__ == '__main__':
f_path = r"D:\program"
f_var = ['李四', '李五', '王五']
concat_data(f_path, f_var)
原始数据
结果展示