大数据-TXT文本重复行计数工具

支持系统类型:Windows 64位系统 Linux 64位系统 苹果64位系统

硬盘要求:固态硬盘(有效剩余磁盘空间大小最低3倍于大数据文件的大小)

内存要求:最低8G(例如只有几百G数据) 如果处理TB级大数据文件最低需32G内存

大数据格式:M行1列 或M行N列          作者QQ:24759362

初次使用建议完全模仿截图里出现的文件夹和空记事本文件命名,日常使用时可以根据自己的喜好命名文件夹和空记事本文件

范例测试数据1:D:\testBigDataFile\test1BigData.txt

1000
1001
1001
1002
1003
1004
1004
1005
1006
1007
1007
1008
1009
1010
1011
1011
1012
1013
1013
1013
1013
1014
1014
1015
1016
1017
1017
1018
1019
1020
1021
1021
1022
1023
1023
1023
1023
1024
1024
1025
1026
1027
1027
1028
1029
1030
1031
1032
1033
1033
1033
1033
1034
1035
1036
1037
1038
1039
1040
1041
1042
1043
1043
1043
1043
1044
1045
1046
1047
1048
1049
1050
1051
1051
1052
1053
1054
1054
1055
1056
1057
1057
1058
1059
1060
1061
1062
1063
1063
1063
1063
1064
1065
1066
1067
1068
1069
1070
1071
1071
1072
1073
1073
1073
1073
1074
1074
1075
1076
1077
1077
1078
1079
1080
1081
1082
1083
1083
1083
1083
1084
1085
1086
1087
1088
1089
1090
1091
1092
1093
1093
1093
1093
1094
1095
1096
1097
1098
1099
2000

运行输出结果如下:

D:\resultBigDataFile\result1BigData.txt

1011
1077
1021
1054
1074
1051
1071
1007
1017
1027
1004
1014
1024
1057
1001

如果上面范例测试数据1运行后想输出如下结果:请勾选“显示输入重复次数

1011    1
1077    1
1021    1
1054    1
1074    1
1051    1
1071    1
1007    1
1017    1
1027    1
1004    1
1014    1
1024    1
1057    1
1001    1

 范例测试数据2:D:\testBigDataFile\test2BigData.txt

 Alan    436628269
Alan    436628269
Alan    436628269
Bill    611492701
Cana    1397118521
Dunn    2444556928
Connor    1998963357
Emma    2206666209
Gina    777284571
Gina    777284571
Gina    777284571
Gina    777284571
Ivin    970322252
Jack    1262597716
Jane    578355382
July    136208476
Lily    433285072
Onan    371221381
Owen    1266462145
Peni    130864920
Rynn    2480931452
Rynn    2480931452
Rynn    2480931452
Rynn    2480931452
Rynn    2480931452
Rynn    2480931452
Sims    921827919
Tina    2561855784
Tony    2084111552
Voni    2587044445
Waco    423088657
Aidan    2010046647
Alvin    468664591
Anita    1956739105
Becky    1363871905
Becky    1363871905
Becky    1363871905
Becky    1363871905
Bowen    234135199
Casey    1548163632
Cathy    678234228
Chloe    1381166262
Dwana    2282473415
Edith    1967993078
Edith    1967993078
Elman    1560665871
Ethan    2267535885
Fiona    604587235
Haley    800961135
Jones    2344119816
Jones    2344119816
Joyce    1344843140
Kelly    2122606210
Kevin    1717469490
Laure    736740442
Mulki    566237493
Najma    2419841329
Najma    2419841329
Najma    2419841329
Randy    1502861227
Ricka    236260413
Rizza    1535082737
Robrt    196943032
Shawn    851297787
Susan    334018114
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Wasim    524075634
Water    90008183
Wendy    1164084217
Yilia    1466222253
Aazeen    1012146857
Anikah    443308821
Bladen    731124027
Brooke    92025515
Brynda    1110273669
Carlos    2196254518
Dillon    520140680
Easter    2712179738
Fallyn    1383225641
Hammad    705756913
Hammad    705756913
Hammad    705756913
Hammad    705756913
Hammad    705756913
Hinson    149640852
Hinson    149640852
Hinson    149640852
Jackie    176340867
Johnny    888922082
Lauren    2414296053
Lunell    913395291
Madlin    1781194530
Martin    636062663
Nyonna    1422469714
Polina    2122873196
Pruitt    314428860
Quavon    689418797
Quavon    689418797
Sallie    800910135
Selina    1232437171
Sumiye    628112094
Summer    2278440448
Uniyah    1115416023
Vaiden    620408210
Winter    2695510343
Yasmen    961534555
Yoland    1291468531
Yusuke    2619560595
Abraham    2578725567
Addison    1332247227
Anthony    544174558
Bartley    1153366461
Blanche    101955333
Bullman    1529760215
Camille    1092452082
Charles    1664580393
Connor    2117335737
Crystal    1042531868
Destiny    1659408747
Hartlyn    2192622982
Jenicia    275384039
Lovinia    779964794
Madilee    400032052
Nicolle    559240963
Noython    2106815835
Quintin    2314360024
Ricayla    2347843740
Severin    1824633312
Solomon    606320831
Tanecia    1419387413
Tiffine    2033116728
Vallene    1492277709

 

运行输出结果如下:

D:\resultBigDataFile\result2BigData.txt

 

Edith    1967993078    1
Najma    2419841329    2
Gina    777284571    3
Hinson    149640852    2
Alan    436628269    2
Hammad    705756913    4
Rynn    2480931452    5
Becky    1363871905    3
Jones    2344119816    1
Tejah    676974423    8
Quavon    689418797    1

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/506558.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

调用第三方服务组件改造+Jmeter5.x性能压测实践

调用第三方服务组件改造Jmeter5.x性能压测实践

【opencv】教程代码 —ShapeDescriptors

检测和显示图像的轮廓 在图像中搜索并显示轮廓边缘多边形、轮廓矩形和包围圆 获取包含检测到的轮廓的椭圆和旋转的矩形 图像轮廓检测和轮廓凸包 计算图像中的轮廓的矩(包括面积、重心等)并进行显示 创建和绘制一个多边形图像然后计算并显示图像上每个点到…

浮点数(小数)在计算机中如何用二进制存储?

【版权声明】未经博主同意,谢绝转载!(请尊重原创,博主保留追究权) https://blog.csdn.net/m0_69908381/article/details/137182814 出自【进步*于辰的博客】 注:为了阐述更加严谨,本篇文章中将使…

c语言例题,计算字符串长度,递归思想

c语言中,计算字符串长度算是一个比较经典的题了,而今天我们运用两种不同的求解方法来写出不同的程序来实现计算字符串的功能。 主函数 先看到主函数,主函数中设置了一串7个字符的字符串,而后面接下来定义了两个变量len1和len2&am…

【键值皆有序map 线段树 数学 】100240. 最小化曼哈顿距离

本文涉及知识点 键值皆有序map 线段树 数学 LeetCode100240. 最小化曼哈顿距离 给你一个下标从 0 开始的数组 points ,它表示二维平面上一些点的整数坐标,其中 points[i] [xi, yi] 。 两点之间的距离定义为它们的曼哈顿距离。 请你恰好移除一个点&am…

【蓝桥杯第十三届省赛B】(部分详解)

九进制转十进制 #include <iostream> #include<math.h> using namespace std; int main() {cout << 2*pow(9,3)0*pow(9,2)2*pow(9,1)2*pow(9,0) << endl;return 0; }顺子日期 #include <iostream> using namespace std; int main() {// 请在此…

SOC内部集成网络MAC外设+ PHY网络芯片方案:MII/RMII 接口与 MDIO 接口

一. 简介 本文来了解一下常用的一种网络硬件方案&#xff1a;SOC内部集成网络MAC外设 PHY网络芯片方案。 其中涉及的 MII接口&#xff0c;RMII接口&#xff08;MII接口与RMII接口二选一&#xff09;&#xff0c;MDIO接口&#xff0c;RJ45。 二. MII/RMII 接口&#xff0c;M…

unity学习(74)——服务器Dispose异常

1.返回的1 2 11是怪物初始化&#xff0c;源代码中也没有 2. 3.客户端中的网络连接初始化如下&#xff1a; 4.不是因为超时&#xff0c;设置10s为超时期限后&#xff0c;客户端和服务器有时依然会报错&#xff01; 5.我感觉就是update中发包给弄坏的&#xff01; 6.不在“帧”…

【prometheus】k8s集群部署Grafana安装并接入Promethues数据源

目录 一、概述 1.1 优点 1.2 特点 二、grafana部署 三、grafana接入Promethues数据源 四、grafana可视化展示物理节点指标数据 五、grafana可视化展示k8s组件指标数据 5.1 kube-state-metrics简介 5.2 安装kube-state-metrics组件 一、概述 Grafana是一款用Go语言开发…

CodeTON Round 8 D. Learning to Paint 【DP求前k大】

D. Learning to Paint 题意 有一个 n n n 个格子长度的条带&#xff0c;格子从左到右编号为 1 → n 1 \rarr n 1→n&#xff0c;可以选择若干子段&#xff08;或不选&#xff09;的格子&#xff0c;给定一个二维数组 a a a 每选择一个 [ l i , r i ] [l_i,r_i] [li​,ri​…

5G无线接入网和接口协议

**部分笔记** 4.3无线协议架构 NR无线协议分为两个平面&#xff1a;用户面和控制面。 用户面&#xff08;UP&#xff09;:协议栈及用户数据采用的协议 控制面(Control Plane&#xff0c;CP)协议栈即系统的控制信令传输采用的协议簇。 虚线标注的是信令数据的流向。一个UE在…

[计算机效率] 文件加密工具:Lockdir

3.11 文件加密工具&#xff1a;Lockdir Lockdir是一款安全性高、使用简单、体积极小的便携式文件夹加密器&#xff0c;无需安装&#xff0c;一键加密&#xff0c;一键解密&#xff0c;加密算法高&#xff0c;是优秀的加密工具。其主要特点包括&#xff1a; 加密操作简易&#…

遥感动态监测技术

很多人对动态监测和动态检测两个名词有疑惑。我们可以这样理解&#xff0c;动态监测是一个广义的名词&#xff0c;泛指数据预处理、变化信息发现与提取、变化信息挖掘与应用等&#xff0c;以对整个流程的叙述。动态检测是一个狭义的名词&#xff0c;主要指部分数据预处理、变化…

Python | Leetcode Python题解之第4题寻找两个正序数组的中位数

题目&#xff1a; 题解&#xff1a; class Solution:def findMedianSortedArrays(self, nums1: List[int], nums2: List[int]) -> float:def getKthElement(k):"""- 主要思路&#xff1a;要找到第 k (k>1) 小的元素&#xff0c;那么就取 pivot1 nums1[k…

需要给Word文档中的汉字注音,拼音要在汉字的右边 要怎么操作?两种方法一学就会

在Word文档中&#xff0c;为字体添加拼音是一个常见的需求&#xff0c;特别是在处理包含生僻字或需要标注拼音的文本时。下面&#xff0c;我们将详细介绍如何在Word文档中将拼音加到字体的右边。 方法一&#xff1a;使用“汇帮注音大师”给汉字加拼音加到右边 第一步&#xf…

快速排序---算法

1、算法概念 快速排序&#xff1a;通过一趟排序将待排记录分隔成独立的两部分&#xff0c;其中一部分记录的数据均比另一部分的数据小&#xff0c;则可分别对这两部分记录继续进行排序&#xff0c;以达到震哥哥序列有序。 快速排序的最坏运行情况是O()&#xff0c;比如说顺序数…

整数删除,蓝桥杯训练题

题目描述: 给定一个长度为 N 的整数数列&#xff1a;A1,A2,…,AN。 你要重复以下操作 K 次&#xff1a; 每次选择数列中最小的整数&#xff08;如果最小值不止一个&#xff0c;选择最靠前的&#xff09;&#xff0c;将其删除&#xff0c;并把与它相邻的整数加上被删除的数值。 …

【前端面试3+1】06继承方式及优缺点、缓存策略、url输入到渲染全过程、【二叉树中序遍历】

一、继承有哪些方式&#xff1f;以及优缺点 继承的方式包括原型链继承、构造函数继承、组合继承、原型式继承、寄生式继承和组合式继承。 1.原型链继承&#xff1a; 实现方式&#xff1a;将子类的原型指向父类的实例来实现继承。优点&#xff1a;简单易懂&#xff0c;代码量少。…

linux 一些命令

文章目录 linux 一些命令fdisk 磁盘分区parted 分区文件系统mkfs 格式化文件系统fsck 修复文件系统 mount 挂载swap 交换分区清除linux缓存df du 命令raid 命令基本原理硬raid 和 软raid案例raid 10 故障修复&#xff0c;重启与卸载 lvm逻辑卷技术LVM的使用方式LVM 常见名词解析…

wavedec2函数及使用

在MATLAB中&#xff0c;进行小波分解及其逆运算是处理图像的一种常见方法&#xff0c;尤其适用于图像分析、压缩和去噪等场景。wavedec2函数可以对二维信号&#xff08;例如图像&#xff09;进行多级小波分解&#xff0c;而waverec2函数则用于进行相应的逆运算。以下是如何使用…