Python中列表和字符串常用的数据去重方法你还记得几个？

Python中列表和字符串常用的数据去重方法你还记得几个？

  • 1 关于数据去重
  • 2 字符串去重
    • 2.1 for方法
    • 2.2 while方法
    • 2.3 列表方法
    • 2.4 直接删除法
    • 2.5 fromkeys方法
  • 3 列表去重
    • 3.1 for方法
    • 3.2 set方法1
    • 3.3 set方法2
    • 3.4 count方法
    • 3.5 转字典法
  • 4 完整代码

1 关于数据去重

  • 关于数据去重，咱们这里简单理解下，就是删除掉重复的数据；
  • 应用的场景比如某些产品产生的大数据，有很多重复的数据，为了不影响分析结果，我们可能需要对这些数据进行去重，删除重复的数据，提高分析效率等等。

2 字符串去重

2.1 for方法

  • 基本思路是for循环先遍历字符串；
  • 遍历的字符要是没在结果字符串中，就添加到结果字符串即可。
  • 代码如下：
import unittest

class TestDeduplication(unittest.TestCase):
    @classmethod
    def setUpClass(cls) -> None:
        cls.char_date = "12344312abcdcbdaABCDDCBA张王李张"
        print(f"原始字符串为：{cls.char_date}")

    @classmethod
    def tearDownClass(cls) -> None:
        pass

    def test_char_for(self):
        char_date01 = ""
        for data in self.char_date:
            if data not in char_date01:
                char_date01 += data
        print(f"for方法去重后数据:{char_date01}")
        
if __name__ == "__main__":
    unittest.main()
  • 结果输出为：
原始字符串为：12344312abcdcbdaABCDDCBA张王李张
for方法去重后数据:1234abcdABCD张王李

2.2 while方法

  • 思路和for差不多；
  • 这里主要是通过通过索引的方式查找；
  • 代码如下：
import unittest

class TestDeduplication(unittest.TestCase):
    @classmethod
    def setUpClass(cls) -> None:
        cls.char_date = "12344312abcdcbdaABCDDCBA张王李张"
        print(f"原始字符串为：{cls.char_date}")

    @classmethod
    def tearDownClass(cls) -> None:
        pass

    def test_char_while(self):
        char_date02 = ""
        flag = len(self.char_date) - 1
        while True:
            if flag >= 0:
                if self.char_date[flag] not in char_date02:
                    char_date02 += self.char_date[flag]
                flag -= 1
            else:
                break
        print(f"while方法去重后数据:{char_date02}")

if __name__ == "__main__":
    unittest.main()
  • 输出结果为：
原始字符串为：12344312abcdcbdaABCDDCBA张王李张
while方法去重后数据:张李王ABCDadbc2134

2.3 列表方法

  • 我们先把字符串转为集合去重；
  • 再将集合转为列表；
  • 将列表转为字符串，最后排序进行输出即可；
  • 部分代码如下，其他关于类的内容和以上一样：
    def test_char_list(self):
        char_date03 = set(self.char_date)
        char_date04 = list(char_date03)
        char_date04.sort(key=self.char_date.index)
        print(f"列表方法去重后数据：{''.join(char_date04)}")
  • 输出后为：
原始字符串为：12344312abcdcbdaABCDDCBA张王李张
列表方法去重后数据：1234abcdABCD张王李

2.4 直接删除法

  • 这个主要是直接对原字符串直接操作；
  • 通过下标以及字符串切片方法实现；
  • 部分代码如下：
    def test_char_delete(self):
        for data in self.char_date:
            if self.char_date[0] in self.char_date[1:len(self.char_date)]:
                self.char_date = self.char_date[1:len(self.char_date)]
            else:
                self.char_date = self.char_date[1:len(self.char_date)] + self.char_date[0]
        print(f"直接删除方法去重后数据：{''.join(self.char_date)}")
  • 输出为：
原始字符串为：12344312abcdcbdaABCDDCBA张王李张
直接删除方法去重后数据：4312cbdaDCBA王李张

2.5 fromkeys方法

  • 直接使用fromkeys()方法，它的作用是从序列键和值设置为value来创建一个新的字典；
  • 部分代码如下：
    def test_char_fromkeys(self):
        char_date05 = {}
        char_date06 = char_date05.fromkeys(self.char_date)
        list_char = list(char_date06.keys())
        print(f"fromkeys方法去重后数据:{''.join(list_char)}")
  • 输出为：
原始字符串为：12344312abcdcbdaABCDDCBA张王李张
fromkeys方法去重后数据:1234abcdABCD张王李

3 列表去重

3.1 for方法

  • 循环遍历列表后添加到新的列表即可；
  • 这个方法不会改变原来的顺序；
  • 代码如下：
class TestDeduplication(unittest.TestCase):
    @classmethod
    def setUpClass(cls) -> None:
        cls.list_data = ["A", "B", "C", "D", "E", "C", "A", "B"]
        print(f"原始列表为：{cls.list_data}")

    @classmethod
    def tearDownClass(cls) -> None:
        pass
        
    def test_list_for(self):
        list_data01 = []
        for data in self.list_data:
            if data not in list_data01:
                list_data01.append(data)
        print(f"for方法:{list_data01} ")

if __name__ == "__main__":
    unittest.main()
  • 输出为：
原始列表为：['A', 'B', 'C', 'D', 'E', 'C', 'A', 'B']
for方法:['A', 'B', 'C', 'D', 'E']

3.2 set方法1

  • 直接使用set方法后转为列表即可；
  • 这个方法会改变原来的顺序；
  • 部分代码如下：
 def test_list_set(self):
        list_data02 = list(set(self.list_data))
        print(f"set方法1：{list_data02}")
  • 输出为：
原始列表为：['A', 'B', 'C', 'D', 'E', 'C', 'A', 'B']
set方法1：['D', 'C', 'B', 'E', 'A']

3.3 set方法2

  • 直接使用set方法后转为列表；
  • 这个方法会改变原来的顺序，可进行排序；
  • 部分代码：
 def test_list_set01(self):
        list_data03 = list(set(self.list_data))
        list_data03.sort(key=self.list_data.index)
        print(f"set方法2：{list_data03}")
  • 输出为：
原始列表为：['A', 'B', 'C', 'D', 'E', 'C', 'A', 'B']
set方法2：['A', 'B', 'C', 'D', 'E']

3.4 count方法

  • 先对原序列进行排序；
  • 循环遍历列表后使用count()方法；
  • 部分代码：
    def test_list_count(self):
        self.list_data.sort()
        for data in self.list_data:
            while self.list_data.count(data) > 1:
                del self.list_data[self.list_data.index(data)]
        print(f"count方法：{self.list_data}")
  • 输出为：
原始列表为：['A', 'B', 'C', 'D', 'E', 'C', 'A', 'B']
count方法：['A', 'B', 'C', 'D', 'E']

3.5 转字典法

  • 直接把列表转为字典方法即可；
  • 部分代码：
 def test_list_dict(self):
        list_data04 = {}
        list_data05 = list_data04.fromkeys(self.list_data).keys()
        list_data06 = list(list_data05)
        print(f"字典法：{list_data06}")
  • 输出为：
原始列表为：['A', 'B', 'C', 'D', 'E', 'C', 'A', 'B']
字典法：['A', 'B', 'C', 'D', 'E']

4 完整代码

  • 以下为列表和字符串常用的数据去重方法的完整代码；
  • 使用unittest中的TestCase类组织测试用例；
  • 代码如下：
# -*- coding:utf-8 -*-
# 作者：虫无涯
# 日期：2023/11/22 
# 文件名称：test_deduplication.py
# 作用：字符串和列表去重
# 联系：VX(NoamaNelson)
# 博客：https://blog.csdn.net/NoamaNelson


import unittest


class TestDeduplication(unittest.TestCase):
    @classmethod
    def setUpClass(cls) -> None:
        cls.char_date = "12344312abcdcbdaABCDDCBA张王李张"
        cls.list_data = ["A", "B", "C", "D", "E", "C", "A", "B"]
        print(f"原始字符串为：{cls.char_date}")
        print(f"原始列表为：{cls.list_data}")

    @classmethod
    def tearDownClass(cls) -> None:
        pass

    def test_char_for(self):
        char_date01 = ""
        for data in self.char_date:
            if data not in char_date01:
                char_date01 += data
        print(f"for方法去重后数据:{char_date01}")

    def test_char_while(self):
        char_date02 = ""
        flag = len(self.char_date) - 1
        while True:
            if flag >= 0:
                if self.char_date[flag] not in char_date02:
                    char_date02 += self.char_date[flag]
                flag -= 1
            else:
                break
        print(f"while方法去重后数据:{char_date02}")

    def test_char_list(self):
        char_date03 = set(self.char_date)
        char_date04 = list(char_date03)
        char_date04.sort(key=self.char_date.index)
        print(f"列表方法去重后数据：{''.join(char_date04)}")

    def test_char_delete(self):
        for data in self.char_date:
            if self.char_date[0] in self.char_date[1:len(self.char_date)]:
                self.char_date = self.char_date[1:len(self.char_date)]
            else:
                self.char_date = self.char_date[1:len(self.char_date)] + self.char_date[0]
        print(f"直接删除方法去重后数据：{''.join(self.char_date)}")

    def test_char_fromkeys(self):
        char_date05 = {}
        char_date06 = char_date05.fromkeys(self.char_date)
        list_char = list(char_date06.keys())
        print(f"fromkeys方法去重后数据:{''.join(list_char)}")

    print("===============================================")

    def test_list_for(self):
        list_data01 = []
        for data in self.list_data:
            if data not in list_data01:
                list_data01.append(data)
        print(f"for方法:{list_data01} ")

    def test_list_set(self):
        list_data02 = list(set(self.list_data))
        print(f"set方法1：{list_data02}")

    def test_list_set01(self):
        list_data03 = list(set(self.list_data))
        list_data03.sort(key=self.list_data.index)
        print(f"set方法2：{list_data03}")

    def test_list_count(self):
        self.list_data.sort()
        for data in self.list_data:
            while self.list_data.count(data) > 1:
                del self.list_data[self.list_data.index(data)]
        print(f"count方法：{self.list_data}")

    def test_list_dict(self):
        list_data04 = {}
        list_data05 = list_data04.fromkeys(self.list_data).keys()
        list_data06 = list(list_data05)
        print(f"字典法：{list_data06}")
        
        
if __name__ == "__main__":
    unittest.main()
  • 全部输出为：
===============================================
原始字符串为：12344312abcdcbdaABCDDCBA张王李张
原始列表为：['A', 'B', 'C', 'D', 'E', 'C', 'A', 'B']

直接删除方法去重后数据：4312cbdaDCBA王李张
for方法去重后数据:1234abcdABCD张王李
fromkeys方法去重后数据:1234abcdABCD张王李
列表方法去重后数据：1234abcdABCD张王李
while方法去重后数据:张李王ABCDadbc2134
count方法：['A', 'B', 'C', 'D', 'E']
字典法：['A', 'B', 'C', 'D', 'E']
for方法:['A', 'B', 'C', 'D', 'E'] 
set方法1：['B', 'A', 'D', 'C', 'E']
set方法2：['A', 'B', 'C', 'D', 'E']
  • 放一张图吧（虽然用处不大，哈哈）：
    在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/180404.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

安卓毕业设计基于安卓android微信小程序的培训机构系统

安卓毕业设计基于安卓android微信小程序的培训机构系统

项目介绍 本文以实际运用为开发背景，运用软件工程原理和开发方法，它主要是采用java语言技术和mysql数据库来完成对系统的设计。整个开发过程首先对培训机构管理系统进行需求分析，得出培训机构管理系统主要功能。接着对培训机构管理系统 进行…
阅读更多...
Zoho Bigin和标准版CRM有什么区别？

Zoho Bigin和标准版CRM有什么区别？

Zoho Bigin是Zoho公司推出的一款针对小微企业设计的CRM系统，它与Zoho CRM一脉相承，但更加轻量级，快速帮助小微企业实现数字化销售。下面来说说，Zoho Bigin是什么？它适合哪些企业？ 什么是Zoho Bigin&#x…
阅读更多...
基于51单片机设计的人体温度检测与存储系统

基于51单片机设计的人体温度检测与存储系统

一、前言 随着科技的快速发展和人们对健康生活的追求，准确、便捷的体温检测成为日常生活中的重要需求。在当前全球健康环境下，特别是在一些公共场合和家庭中，快速筛查体温以预防疾病传播变得至关重要。基于这一需求，当前设计了基于51单片机的温度检测与存储系统。 传统体…
阅读更多...
单片机调试技巧--栈回溯

单片机调试技巧--栈回溯

在启动文件中修改 IMPORT rt_hw_hard_fault_exceptionEXPORT HardFault_Handler HardFault_Handler PROC; get current contextTST lr, #0x04 ; if(!EXC_RETURN[2])ITE EQMRSEQ r0, msp ; [2]0 > Z1, get fault context from h…
阅读更多...
51单片机PWM控制LED灯渐明渐暗实验

51单片机PWM控制LED灯渐明渐暗实验

51单片机PWM控制LED灯渐明渐暗实验 1.概述 这篇文章介绍单片机的PWM通过占空比控制LED灯的渐明渐暗效果，通过该实验掌握PWM的原理以及应用它做一些事情。 2.操作步骤 2.1.硬件电路 1.硬件准备 名称型号数量单片机STC12C20521LED彩灯无2晶振12MHZ1电容30pf2电阻…
阅读更多...
Log4j

Log4j

通过Log4j，我们可以控制日志信息输送到目的地是控制台、文件、GUI组件，甚至是套接口服务器、NT的事件记录器。我们可以控制每一条日志的输出格式。通过定义每一条日志信息的级别，能更加细致地控制日志的生成过程。 1 log4j、log4j2与SLF4J …
阅读更多...
学习量化交易如何入门？

学习量化交易如何入门？

Python 量化入门很简单，只需 3 步就能快速上手! 题主在程序方向没有相关经验，今天就从量化行业的通用语言-Python 着手，教大家如何快速入门。 一、准备工作 在开始 Python 编程之前，首先需要确保你的计算机上安装了合适的 Pytho…
阅读更多...
【Python爬虫】8大模块md文档从0到scrapy高手，第8篇：反爬与反反爬和验证码处理

【Python爬虫】8大模块md文档从0到scrapy高手，第8篇：反爬与反反爬和验证码处理

本文主要学习一下关于爬虫的相关前置知识和一些理论性的知识，通过本文我们能够知道什么是爬虫，都有那些分类，爬虫能干什么等，同时还会站在爬虫的角度复习一下http协议。 Python爬虫和Scrapy全套笔记直接地址： 请移步这…
阅读更多...
基于springboot实现电子招投标系统【项目源码】计算机毕业设计

基于springboot实现电子招投标系统【项目源码】计算机毕业设计

基于springboot实现电子招投标系统演示 SpringBoot框架 SpringBoot是一个全新开源的轻量级框架。基于Spring4.0设计，其不仅继承了Spring框架原来有的优秀特性，而且还通过简化配置文件来进一步简化了Spring应用的整个搭建以及开发过程。另外在原本的Spri…
阅读更多...
【学习篇】Linux中grep、sed、awk

【学习篇】Linux中grep、sed、awk

Linux 文本处理三剑客 – awk, sed, grep grep过滤文本 https://zhuanlan.zhihu.com/p/561445240 grep 是 Linux/Unix 系统中的一个命令行工具，用于从文件中搜索文本或字符串。grep 代表全局正则表达式打印。当我们使用指定字符串运行 grep 命令时，如…
阅读更多...
游戏开发团队配置与协作流程

游戏开发团队配置与协作流程

游戏开发技术图谱 - 知乎 游戏制作的流程是什么啊？ - 知乎 系统策划：一张图梳理游戏系统的生产流程 - 知乎 游戏开发入门（十一）游戏引擎架构-CSDN博客
阅读更多...
数据结构与算法编程题15

数据结构与算法编程题15

设计一个算法&#xff0c;通过遍历一趟&#xff0c;将链表中所有结点的链接方向逆转&#xff0c;仍利用原表的存储空间。 #include <iostream> using namespace std;typedef int Elemtype; #define ERROR 0; #define OK 1;typedef struct LNode {Elemtype data; …
阅读更多...
安装MySQL搭建论坛

安装MySQL搭建论坛

课前默写&#xff1a; 1、nginx配置文件的区域有哪些 ①全局区域 ②events区域 ③http区域 2、区域模块的作用 全局区域模块主要是用户和工作进程 events区域模块配置最大连接数时需先配置:vim /etc/limits.conf 因为系统默认最大是1024 http区域模块&#xff1a;代理地…
阅读更多...
HTML的学习

HTML的学习

知己知彼百战不殆 打算学习一下javascript 所以先从基础的html语言开始 其实就是头部 和身体 头部控制整个 html的语言 title等 <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"width…
阅读更多...
vue项目引入element-plus

vue项目引入element-plus

文章目录 引入框架遇到的问题引入的时候&#xff0c;报错 ...(reading replace)...报错&#xff1a;The template root requires ...eslint报错&#xff1a; 运行 引入框架 使用add引入 遇到的问题 引入的时候&#xff0c;报错 …(reading ‘replace’)… Cannot read prop…
阅读更多...
Springboot将多个图片导出成zip压缩包

Springboot将多个图片导出成zip压缩包

Springboot将多个图片导出成zip压缩包 将多个图片导出成zip压缩包 /*** 判断时间差是否超过6小时* param startTime 开始时间* param endTime 结束时间* return*/public static boolean isWithin6Hours(String startTime, String endTime) {// 定义日期时间格式DateTimeFormatt…
阅读更多...
【深度学习】学习率及多种选择策略

【深度学习】学习率及多种选择策略

学习率是最影响性能的超参数之一&#xff0c;如果我们只能调整一个超参数&#xff0c;那么最好的选择就是它。相比于其它超参数学习率以一种更加复杂的方式控制着模型的有效容量&#xff0c;当学习率最优时&#xff0c;模型的有效容量最大。本文从手动选择学习率到使用预热机制…
阅读更多...
单元测试-java.lang.NullPointerException

单元测试-java.lang.NullPointerException

报错信息 java.lang.NullPointerException 空指针异常 空对象引用 来源 对Controller层进行单元测试&#xff0c;解决完Spring上下文报错后继续报错。 解决 在测试方法执行前要为字段完成对象的注入&#xff0c;否则就报空指针异常。 测试例子 public class SysUserContr…
阅读更多...
NX二次开发UF_CAM_update_list_object_customization 函数介绍

NX二次开发UF_CAM_update_list_object_customization 函数介绍

文章作者&#xff1a;里海 来源网站&#xff1a;https://blog.csdn.net/WangPaiFeiXingYuan UF_CAM_update_list_object_customization Defined in: uf_cam.h int UF_CAM_update_list_object_customization(tag_t * object_tags ) overview 概述 This function provids the…
阅读更多...
Ubuntu 1.84.2Visual Studio Code 下载配置与vscode查看内存Hex Editor插件，简单易懂

Ubuntu 1.84.2Visual Studio Code 下载配置与vscode查看内存Hex Editor插件，简单易懂

目录 前言 一 首先我为啥要重装Vs Code呢&#xff1f; 二 下载1.84.2Visual Studio Code 三 配置Vscode终端字体 四 安装插件 前言 这是一篇将老版本的VsCode下载至最新版的博文&#xff0c;从下载到调试全篇 一 首先我为啥要重装Vs Code呢&#xff1f; 因为我想安装这个…
阅读更多...
最新文章

Copyright @ 2022~2023