Linux文本三剑客 awk 和 grep

awk 前言

AWK是一种优良的文本处理工具。它不仅是 Linux中也是任何环境中现有的功能最强大的数据处理引擎之一。

 Linux中最常用的文本处理工具有grep，sed，awk。行内将之称为文本三剑客，就功能量和效率来看，awk是当之无愧的文本三剑客之首。

grep主要用于过滤文本，sed用于修改文本，而awk则擅长处理和格式化文本

awk与vim的区别：

  • awk为加载一行处理一行，可以接受比较大的文件处理
  • vim为先加载整个文件到内存中处理，若内存不够大，无法打开大文件

一、awk的工作原理 

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。即 读取一行处理一行，可以接受比较大的文件处理。
sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。 

二、awk的语法

awk 选项 '模式或条件 {操作}' 文件 1 文件 2 …                   
awk -f 脚本文件 文件 1 文件 2 …                                 

  • 一定要用单引号。 
  • { }外指定条件，{ }内指定操作。
  • 内建变量，不能用双引号括起来，不然系统会把它当成字符串

三、基本打印用法

按行输出文本:

awk '{print}' 1.txt#输出所有内容
awk '{print $0}' 1.txt#输出所有内容
awk 'NR==1,NR==3{print}' 1.txt#输出第 1~3 行内容
awk '(NR>=1)&&(NR<=3){print}' 1.txt#输出第 1~3 行内容
awk 'NR==1||NR==3{print}' 1.txt#输出第1行、第3行内容
awk '(NR%2)==1{print}' 1.txt #输出所有奇数行的内容
awk '(NR%2)==0{print}' 1.txt#输出所有偶数行的内容
awk '/^p/{print}' /opt/2.txt#输出以 p 开头的行
awk '/q$/{print}' /opt/2.txt#输出以 q 结尾的行

awk 'BEGIN {x=0};/\/bin\/bash$/{x++};END {print x}' /etc/passwd        #统计以/bin/bash 结尾的行数，等同于 grep -c "/bin/bash$" /etc/passwd
BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作；awk再处理指定的文本，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语句

打印行内容及其行号:

awk '{getlinegetlinegetline;print$0}' 1.txt  #打印偶数行
awk '{print$0;getline}' 1.txt  #打印奇数行

getline 意思是滑倒下一行

一开始print$0是在1 上面  遇到getline 就滑倒下一行 就是2

反之

BEGIN:

awk 'BEGIN {...}; 条件{...}； END {...}' 文件


##BEGIN {...}  #表示处理文件前执行的操作
##条件{...}   #表示对匹配满足指定条件的文件行内容要执行的操作
##END {...}  #表示处理完文件所有行内容后要执行的操作
 
例：
awk 'BEGIN {x=0};/\/bin\/bash$/{x++};END {print x}' /etc/passwd        
#统计以/bin/bash 结尾的行数，等同于 grep -c  "/bin/bash$"  /etc/passwd

  • BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作
  • awk再处理指定的文本，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语句.

字段输出:

awk -F: '/q$/{print $1}' /opt/2.txt  #打印以bash结尾行的第一个字段
awk '/q$/{print $1,$3}' /opt/2.txt #输出多个列时，默认空格进行分隔

四、常见的内置变量

内置变量作用
$0当前处理的行的整行内容
$n当前处理行的第n个字段（第n列）
NR当前处理的行的行号（序数）
NF当前处理的行的字段个数。$NF代表最后一个字段
FS列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
OFS输出内容的列分隔符
FILENAME被处理的文件名
RS
行分隔符。awk从文件中读取资料时，将根据RS的定义把资料切割成许多条记录， 而awk一次仅读入一条记录进行处理。预设值是"\n"

NR： 表示行号

关于NF的使用 ：表示最后一列
[root@localhost ~]#df |awk '{print $NF}'        ##挂载点

[root@localhost ~]#df |awk '{print $(NF-1)}'    ##使用百分比

关于FS的使用：指定每行文本的字段分隔符，默认为空格或制表位
[root@localhost /ceshi]#awk -v "FS=:" '{print $1FS$3}' /etc/passwd
##与 -F":" 
 
[root@localhost /ceshi]#awk -F: '{print $1":"$3}' /etc/passwd
##-F和-FS一起使用时-F 的优先级高

关于RS的使用 ：为换行符

将冒号作为换行的分隔符 把内容打印出来

五、实际运用

1、提取磁盘的分区利用率

df|awk '{print $5}'

2、提取用户名和uid号

cat /etc/passwd|awk -F: '{print $1,$3}'
##默认用空格分开
[root@localhost ~]#cat /etc/passwd|awk -F: '{print $1":"$3}'
##用冒号分隔开
[root@localhost ~]#cat /etc/passwd|awk -F: '{print $1"\t"$3}'
##用制表符分隔开

3、提取ip地址 
[root@localhost /ceshi]#hostname -I
192.168.20.6 192.168.122.1 
[root@localhost /ceshi]#hostname -I|awk '{print $1}'
192.168.20.6
[root@localhost /ceshi]#ifconfig ens33|sed -n '2p' |awk '{print $2}'
192.168.20.6
4、awk的统计用法
[root@localhost /ceshi]#grep -c "/bin/bash$" /etc/passwd
4
[root@localhost /ceshi]#cat /etc/passwd|awk '{x++}END{print x}'
44
[root@localhost /ceshi]#cat /etc/passwd|wc -l
44
[root@localhost /ceshi]#cat /etc/passwd|awk '/bash$/{x++}END{print x}'
4
5、计算磁盘使用率及空闲率
df | grep -w "/" | awk '{print $5}'                  #磁盘使用率
df | grep -w "/" | awk '{print 100-$5"%"}'     #磁盘空闲率

6、检测本机cpu 15分钟内的平均负载

[root@localhost awk]#uptime|awk '{print $NF}'

      一般超过百七十，就要注意了

grep前言

grep 命令是一个在 Linux/Unix 操作系统中用于查找文本的工具，grep 命令能够对指定的文件或标准输入进行搜索，并输出包含匹配文本的行。

grep 命令是一个非常强大的文本搜索工具，支持基本正则表达式、扩展正则表达式和固定字符串的匹配模式，可以帮助用户快速地定位文件中的关键信息，提高工作效率。

一、 基本用法

grep 命令的基本语法格式为：

grep [参数] 搜索模式 [路径]

例在文件 2.txt中搜索字符串 2q，可以使用以下命令：

grep 2q 2.txt


如果要搜索多个文件，可以指定多个文件名或使用通配符。
例搜索所有以 q结尾的字符串，可以使用以下命令：

grep q* 2.txt



二、常用选项

grep 命令常用的选项：

  • -i：忽略大小写；
  • -r：递归搜索子目录；
  • -n：显示匹配行的行号；
  • -c：只显示匹配行的数量；
  • -v：反转匹配，即只显示不匹配的行；
  • -w：只匹配整个单词，不匹配子串；
  • -o ：表示只输出匹配部分，而不是整行；
  • -E：使用扩展正则表达式；
  • -F：将模式视为固定字符串而非正则表达式。
  • -h：表示不显示文件名

例 忽略大小写和显示匹配行的行号，可以使用以下命令：

grep -in "P" 2.txt

三. 正则表达式

grep 命令支持基本正则表达式（BRE）、扩展正则表达式（ERE）和固定字符串三种匹配模式。

基本正则表达式
  • .                   ：匹配任意一个字符；
  • []                  ：匹配括号中的任意一个字符；
  • [^]                ：匹配不在括号中的任意一个字符；
  • [:class:]       ：匹配指定字符类中的任意一个字符，例如 [:digit:] 表示数字字符。

常用的特殊序列包括：

  • ^         ：匹配行首；
  • $         ：匹配行尾；
  • \<        ：匹配单词首；
  • \>        ：匹配单词尾；
  • \n        ：匹配换行符。

如要在文件 2.txt 中搜索以  q 开头的行，可以使用以下命令：

grep '^q' 2.txt  #要在文件2 .txt 中搜索以 q开头的行

  • +         ：匹配一个或多个前导字符；
  • *          ：匹配零个或多个前导字符；
  • ?         ：匹配零个或一个前导字符；
  • {n}       ：匹配恰好 n 个前导字符；
  • {n,}      ：匹配至少 n 个前导字符；
  • {n,m}   ：匹配至少 n 个且不超过 m 个前导字符；
  • ()         ：分组匹配；
  • |          ：或运算符。

 如要在文件 2.txt 中搜索以 hello 开头且后面跟着一个或多个空格的行，可以使用以下命令

grep '^hello[[:space:]]+' 2.txt
 ^与$的运用
# 搜索以数字开头的行
grep '^[0-9]' file.txt

# 搜索以数字结尾的行
grep '[0-9]$' file.txt

# 搜索包含数字的行
grep '[0-9]' file.txt
匹配整个单词

grep 默认会匹配到包含搜索词的所有行，包括单词的一部分。如果需要只匹配完整单词，可以使用 ‘-w’ 选项。

# 搜索包含单词 'hello' 的行
grep 'hello' file.txt

# 只搜索包含完整单词 'hello' 的行
grep -w 'hello' file.txt
搜索多个文件

如果需要在多个文件中搜索，可以使用通配符或者正则表达式。

# 搜索多个文件
grep 'hello' file1.txt file2.txt file3.txt

# 搜索文件夹下的所有 txt 文件
grep 'hello' *.txt

# 搜索文件夹下的所有文件
grep 'hello' *
显示匹配行的上下文

使用 ‘-A’ 和 ‘-B’ 选项可以显示匹配行的上下文。

# 显示匹配行的前 3 行和后 3 行
grep -A 3 -B 3 'hello' file.txt
反向搜索

使用 ‘-v’ 选项可以反向搜索，即只显示不匹配的行。

# 只显示不包含单词 'hello' 的行
grep -v 'hello' file.txt
统计匹配次数

使用 ‘-c’ 选项可以统计匹配次数。

# 统计包含单词 'hello' 的行数
grep -c 'hello' file.txt

总结

' '  单引号内的内容被视为字面字符串
" " 双引号允许变量扩展和命令替换   (如双引号号内有变量可引用变量)

( ) 分组匹配
[ ] 匹配括号中的任意一个字符
{n} 匹配恰好 n 个前导字符

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/702129.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

智能盒子如何检测进气压力传感器？

智能盒子如何检测进气压力传感器？

进气压力传感器是一种用于测量发动机进气系统中压力的传感器。安装在发动机的进气管路或进气歧管上&#xff0c;用于监测进气压力的变化。进气压力传感器的作用是将测量到的压力信号转换为电信号&#xff0c;以便发动机控制单元(ECU)可以根据压力变化来调整燃油喷射量、点火时机…
阅读更多...
git版本控制流程

git版本控制流程

个人名片 &#x1f393;作者简介&#xff1a;java领域优质创作者 &#x1f310;个人主页&#xff1a;码农阿豪 &#x1f4de;工作室&#xff1a;新空间代码工作室&#xff08;提供各种软件服务&#xff09; &#x1f48c;个人邮箱&#xff1a;[2435024119qq.com] &#x1f4f1…
阅读更多...
开启数字化校园时代：智慧教育的引领者

开启数字化校园时代：智慧教育的引领者

在当前数字化时代&#xff0c;智慧教育已经成为引领未来的热门议题。随着科技的不断进步和教育观念的演进&#xff0c;数字化校园正逐渐变为现实。作为教育界的领导者&#xff0c;我们积极践行智慧教育理念&#xff0c;为学生们营造一个更智能、高效的学习环境。 教育是每个国家…
阅读更多...
零售业上云为什么首选谷歌云

零售业上云为什么首选谷歌云

零售业是国民经济的重要组成部分&#xff0c;在促进经济发展、改善人民生活水平方面发挥着重要作用。零售业也是一个竞争激烈的行业&#xff0c;零售企业需要不断创新经营方式、提高服务质量才能在竞争中立于不败之地。 近年来&#xff0c;中国企业在品牌出海方面&#xff0c;一…
阅读更多...
常见电子元件封装

常见电子元件封装

常用电子元件封装 本文摘要 本文主要讲述元件封装&#xff0c;我们想要用元件&#xff0c;当然要考虑到他的形状尺寸了&#xff0c;如果太大与结构冲突用不了&#xff0c;太小功率不满足使用在电路中而无法使用&#xff0c;每种元件也因为不同封装可以承受电压等级&#xff0c;…
阅读更多...
实现数字化教育梦想：数字化校园解决方案的奇妙魅力

实现数字化教育梦想：数字化校园解决方案的奇妙魅力

数字化校园解决方案正在以惊人的速度改变着传统教育的面貌&#xff0c;为教育事业注入了新的生机与活力。在这个数字时代&#xff0c;学校和教育机构面临着前所未有的挑战&#xff0c;而数字化校园解决方案则成为了应对这些挑战的利器。它集成了先进的技术和创新的教育理念&…
阅读更多...
时间处理获取交易日（考虑兼容性问题）

时间处理获取交易日（考虑兼容性问题）

在获取交易日时间的处理上&#xff0c;出现了苹果14不兼容的问题&#xff0c;就这个问题记录下。 一、获取交易日的代码 封装了一个js文件&#xff0c;在untils目录下&#xff0c;先看代码&#xff0c;然后我讲下思路。 // 获取节假日数据 import { getCalendarHolidays } …
阅读更多...
# 常用刀具钢材介绍

# 常用刀具钢材介绍

常用刀具钢材介绍 文章目录 常用刀具钢材介绍1、M390 钢材详细介绍1.1、关键特性1.2、应用 2、 VG10 钢材详细介绍2.1、关键特性2.2、应用 3、N690 钢材详细介绍3.1、关键特性3.2、应用 4、D2, D53, 和 7Cr13MoV 钢材对比4.1、D2 钢材4.2、D53 钢材4.3、7Cr13MoV 钢材4.4、对比…
阅读更多...
奇怪的bug

奇怪的bug

奇怪的bug 合集 1.不可见字符集问题 起因是在自己做小项目的时候&#xff0c;通过lombok的data注解&#xff0c;默认生成实体类的get set方法 但是在某个方法中获取一个属性值的时候显示找不到该属性值的get方法&#xff0c;具体直接贴图 我以为是lombok的配置问题&#xff0c…
阅读更多...
opencv--使用opencv实现旋转角度的模板匹配

opencv--使用opencv实现旋转角度的模板匹配

下面的例子是简单的使用opencv 实现的模板匹配流程&#xff0c;其中时间性能和精确度还需要调整&#xff0c;如果直接使用会出问题&#xff0c;所以这个只是例子&#xff0c;根据代码原理可以实现尺度变化的模板匹配和旋转尺度变化同时&#xff0c;具体根据实现的旋转代码进一步…
阅读更多...
手持式凝血分析仪条码二维码高效读取解决方案

手持式凝血分析仪条码二维码高效读取解决方案

在医疗行业中&#xff0c;凝血分析仪是一种关键设备&#xff0c;主要用于快速、准确地检测血液凝固功能&#xff0c;同时不需要复杂的样品制备&#xff0c;并且可以在几分钟内获得患者的凝血功能信息&#xff0c;对疾病的诊断和治疗具有重要意义。医疗技术和科技的飞速发展&…
阅读更多...
三篇卫星切换的论文

三篇卫星切换的论文

目录 一、Energy-Aware Satellite Handover based on Deep Reinforcement Learning 1、题目翻译 2、来源 3、内容 二、A Reliable Handover Strategy with Second Satellite Selection in LEO Satellite Networks 1、题目翻译 2、来源 3、内容 三、User Grouping-Based…
阅读更多...
揭秘：义乌理阳的跨境选品师项目

揭秘：义乌理阳的跨境选品师项目

在全球经济一体化的今天&#xff0c;跨境电商已成为各国贸易的重要组成部分&#xff0c;而选品师作为其中的关键角色&#xff0c;扮演着挑选优质商品的重要角色。在中国义乌&#xff0c;一家名为理阳信息咨询服务有限公司备受关注&#xff0c;因其据称拥有跨境选品师项目而备受…
阅读更多...
Qt-Advanced-Docking-System的学习

Qt-Advanced-Docking-System的学习

Qt5.12实现Visual Studio 2019 拖拽式Dock面板-Qt-Advanced-Docking-System_c_saide6000-GitCode 开源社区 (csdn.net) 我使用的是Qt5.5.0 开始&#xff0c;我下载的是最新版的源码&#xff1a;4.1版本 但是&#xff0c;打开ads.pro工程文件&#xff0c;无法编译成功。 然后…
阅读更多...
从深度嵌套的JSON结构中提取值

从深度嵌套的JSON结构中提取值

问题背景 在某些情况下&#xff0c;我们可能需要从深度嵌套的JSON结构中提取值。例如&#xff0c;给定以下JSON结构&#xff1a; {"foo_code": 404,"foo_rbody": {"query": {"info": {"acme_no": "444444","…
阅读更多...
【云原生】Kubernetes----Helm包管理器

【云原生】Kubernetes----Helm包管理器

目录 引言 一、Helm概述 1.Helm价值概述 2.Helm的基本概念 3.Helm名词介绍 二、安装Helm 1.下载二进制包 2.部署Helm环境 3.添加补全信息 三、使用Helm部署服务 1.创建chart 2.查看文件信息 3.安装chart 4.卸载chart 5.自定义chart服务部署 6.版本升级 7.版本…
阅读更多...
如何舒适的使用VScode

如何舒适的使用VScode

安装好VScode后通常会很不好用&#xff0c;以下配置可以让你的VScode变得好用许多。 VScode的配置流程 1、设置VScode中文2、下载C/C拓展&#xff0c;使代码可以跳转3、更改编码格式4、设置滚轮缩放5、设置字体6、设置保存自动改变格式7、vscode设置快捷代码 1、设置VScode中文…
阅读更多...
UE4/UE5像素流送云推流|程序不稳定、弱网画面糊怎么办？

UE4/UE5像素流送云推流|程序不稳定、弱网画面糊怎么办？

看到不少反馈说像素流送技术在实际的应用中&#xff0c;存在一些问题&#xff0c;比如程序崩溃、画面模糊等。本文将探讨这些问题&#xff0c;并介绍点量云流软件提供了哪些有效的解决方案。 常见的像素流送技术问题 画面质量问题&#xff1a; 当快速操作UE模型或初次启动像素…
阅读更多...
关闭windows11的Defender病毒防护

关闭windows11的Defender病毒防护

windows11自带的Defender病毒防护并不是每个人都需要&#xff0c;有些人需要关掉它。网上一搜&#xff0c;出现的都在说在安全中心关闭&#xff0c;但这样关闭后依旧随时都在防护着&#xff0c;有些小软件一运行就会给删掉。 以下的方法也是在网上搜索的&#xff0c;但行之有效…
阅读更多...
创建节约机关怎样向媒体投稿报道宣传？

创建节约机关怎样向媒体投稿报道宣传？

创建节约机关并向媒体投稿报道宣传是一项重要的工作&#xff0c;它不仅能够提升机关的形象&#xff0c;还能促进社会各界对节约型社会的认识和支持。 作为一名新晋信息宣传员,初入职场的我满腔热血,怀揣着用文字传递价值的理想,却在投稿的道路上屡遭波折。面对每月的宣传任务,我…
阅读更多...
最新文章

Copyright @ 2022~2023