一、Here Document
1.Here Document概述
Here Document 使用I/O重定向的方式将命令列表提供给交互式程序
Here Document 是标准输 入的一种替代品,可以帮助脚本开发人员不必使用临时文件来构建输入信息,而是直接就地 生产出一个文件并用作命令的标准输入,Here Document 可以与非交互式程序和命令一起使用
2. 语法格式
多行重定向
命令 <<标记
.......
内容 #标记之间是传入内容
.......
标记
3.注意事项
-
标记可以使用任意的合法字符(通用的字符是EOF)
-
结尾的标记一定要顶格写,前面不能有任何字符(包括空格)
-
结尾的标记后面也不能有任何字符(包括空格)
-
开头标记前后空格会被省略掉
4. wc -l 来统计
使用 wc -l 命令后面直接跟文件名就可以统计文件内有多少行内容,将要统计的内容置于标记“EOF” 之间,直接将内容传给 wc -l 来统计。
[root@zzh data]#wc -l <<EOF
> 123
> 456
> 789
> EOF
3
5.实验
通常使用 read 命令接收用户的输入值时会有交互过程
cat 多行重定向
将内容重定向输出到文件中 两种方法都可以
使用 passwd命令设置密码
EOF 标记之间的两行是输入的密码和确认密码,两行内容必须保持一致,否则密 码设置不成功。此脚本执行后不会输出任何信息,可另开一个终端使用 jerry 用户登录,输 入新修改的密码来验证密码是否修改正确
6.Here Document 变量设定
Here Document 也支持使用变量,如果标记之间有变量被使用,会先替换变量值。如果想要将一些内容写入文件,除了常规的方法外,也可以使用 Here Document。如果写入的内容中包含变量,在写入文件时要先将变量替换成实际值,在结合 cat 命令完成写入。
测试EOF中变量被替换为实际值。
7.tee
[root@zzh data]#tee --help
用法:tee [选项]... [文件]...
将标准输入复制到每个指定文件,并显示到标准输出。
-a, --append 内容追加到给定的文件而非覆盖
-i, --ignore-interrupts 忽略中断信号
--help 显示此帮助信息并退出
--version 显示版本信息并退出
如果文件指定为"-",则将输入内容复制到标准输出。
二、expect
1.expect简介
是建立在tcl(tool command language)语言基础上的一个工具,
常被用于进行自动化控制和测试,
解决shell脚本中交互的相关问题
使用expect命令前需要先进行安装expect软件,先检查系统内是否安装expect软件包
2. 使用expect准备工作
rpm-q expect #查看expect程序是否安装
rpm-q tcl #查看tcl程序是否安装
yum install expect -y #未安装的话进行安装
3.expect中相关命令
-
spawn 启动新的进程(监控,捕捉)
-
expect 从进程接收字符串
-
send 用于向进程发送字符串
-
exp_continue 匹配多个字符串在执行动作后加此命令
-
interact 允许用户交互expect eof
4.基本命令:
(1)指定脚本解释器
expect 脚本中首先引入文件,表明使用的是哪一个 shell。
#!/usr/bin/expect
(2)spawn
spawn 后面通常跟一个Linux执行命令,表示开启一个会话、启动进程,并跟踪后续交互信息。
例∶ spawn passwd root
(3)expect
判断上次输出结果中是否包含指定的字符串,如果有则立即返回,否则就等待超时时间后返回;只能捕捉有swpan启动的进程输出;
用于接受命令执行后的输出,然后和期望的字符串匹配
(4)send
向进程发送字符串,用于模拟用户的输入:该命令不能自动回车换行,一般要加 \r (回车) 或者\ n
方式一:
expect "密码" {send "abc123\r"} #同一行send部分要有{}
方式二:
expect "密码"
send "abc123\r" # 换行send部分不需要有{}
方式三:
expect 支持多个分支
expect #只要匹配了其中一个情况,执行相应的send 语句后退出该expect 语句
只匹配一次
expect
{
{"密码1" {send "abc123\r"}
{"密码2" {send "123123\r"}
{"密码3" {send "123456\r"}
}
(5) 结束符
- expect eof
表示交互结束,等待执行结束,退回到原用户,与spawn对应
比如切换到root用户,expect脚本默认的是等待10s,当执行完命令后,默认停留10s后,自动切回了原用户
- interact
执行完成后保持交互状态, 把控制权交给控制台,会停留在目标终端而不是退回到原终端,这时候就可以手工操作了,interact后命令不再起作用,比如interact后添加exit,并不会退出root用户。而如果没有interact则登录完成后会退出,而不是留在远程终端上。
使用interact会保持在终端而不会退回原终端,比如切换到root用户,会一直在root用户状态下;比如ssh到另一台服务器,会一直在目标服务器终端而不会切回原服务器。
需要注意的是,expect eof 与 interact 只能二选一。
(6)set
expect 默认的超时时间是 10 秒,通过 set 命令可以设置会话超时时间,若不限制超时时间则应设置为-1。
例∶ set timeout 30
(7)exp_continue
exp_continue 附加于某个 expect 判断项之后,可以使该项被匹配后,还能继续匹配该 expect 判断语句内的其他项。
exp_continue类似于控制语句中的 continue 语句。表示允许 expect 继续向下执行指令。
例如∶下例将判断交互输出中是否存在 yes/no 或 *password。如果匹配 yes/no 则输出 yes 并再次执行判断;如果匹配 *password则输出 abc123 并结束该段 expect 语句。
expect {
" (yes/no) " {send "yes\r"; exp_continue;}
"*password" { set timeout 300; send "abcl23\r";
}
注意∶ 使用exp_continue时,如果跟踪像 passwd 这样的输入密码后就结束进程的命令,expect{}外不要再加上expect eof因为spawn进程结束后会默认向expect发送eof, 会导致后面的 expect eof 执行报错
(8)send_user
表示回显命令与echo相同
(9)接收参数(位置变量)
expect 脚本可以接受从bash命令行传递参数,使用 [lindex $argv n] 获得。其中你从0开始,分别表示第一个,第二个,第三个.....参数
例子:
set hostname [lindex $argv 0] #相当于 hostname=$1
set password [lindex Sargv 1] #相当于 password=$2
expect直接执行,需要expect命令去执行脚本
5.实验:
由于此时脚本解释器不是/bin/bash,所以 .sh 也可以不加
实验1: 免交互,传输文件
scp远程拷贝 ssh 远程连接
先去192.168.246.8 (看下)
再去客户端(192.168.246.7)执行脚本
再去192.168.246.8 (看下)就传输过来了
[root@zzh data]#vim expect.sh
#!/usr/bin/expect
spawn scp /etc/passwd 192.168.246.8:/opt
expect {
"yes/no" {send "yes\n";exp_continue}
"password" {send "123\n";}
}
expect eof
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
"expect.sh" 11L, 174C 已写入
[root@zzh data]#expect expect.sh
spawn scp /etc/passwd 192.168.246.8:/opt
root@192.168.246.8's password:
passwd 100% 2190 1.1MB/s 00:00
[root@zzh data]#
实验2: 远程登录
[root@zzh data]#vim yc.sh
#!/usr/bin/expect
spawn ssh 192.168.246.8
expect {
"yes/no" {send "yes\n";exp_continue}
"password" {send "123\n";}
}
expect eof
#interact
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
"yc.sh" 11L, 158C 已写入
[root@zzh data]#chmod +x *
[root@zzh data]#ls
a.txt b.txt c.txt expect.sh ky35 yc.sh
[root@zzh data]#./yc.sh
spawn ssh 192.168.246.8
root@192.168.246.8's password:
Last login: Wed Jan 31 17:40:29 2024 from 192.168.246.7
[root@zzcentos2 ~]#
不同结尾的区别
第一种: expect eof 结尾
由于不是bash写的不能用它执行,除此之外的执行方式还可以使用的,也可以使用expect
第二种: interact 结尾
需要注意的是,expect eof 与 interact 只能二选一。
实验3:免交互远程批量创建用户
#!/bin/bash
ip="192.168.246"
password=123
iplist="
8
9
"
for i in $iplist
do
/usr/bin/expect <<EOF
spawn ssh ${ip}.${i}
expect {
"yes/no" {send "yes\r";exp_continue}
"password" {send "$password\r"}
}
expect "*]#" {send "useradd gxx\n" }
expect "*]#" {send "echo 123 |passwd gxx --stdin \r" }
expect "*]#" {send "exit\r" }
expect eof
EOF
done
/bin/bash 中脚本名加.sh 可以让脚本有颜色,expect写脚本的话可以不加.sh
去验证下:
三、字符处理
1.字符串切片
1.1 基于偏移量取字符
取字符串的长度
${#var}
#返回字符串变量var的字符的长度,一个汉字算一个字符
[root@zzh data]#echo {a..z}
a b c d e f g h i j k l m n o p q r s t u v w x y z
[root@zzh data]#echo {a..z}|tr -d " "
abcdefghijklmnopqrstuvwxyz
[root@zzh data]#str=`echo {a..z}|tr -d " "`
[root@zzh data]#echo $str
abcdefghijklmnopqrstuvwxyz
[root@zzh data]#echo ${#str}
26
[root@zzh data]#
定义中文 ,也是2个字符
[root@zzh data]#str=你好
[root@zzh data]#echo ${#str}
2
[root@zzh data]#
跳过左边的字符
跳过左边的字符跳过前n个字符 取后面m个
${var:offset}
#返回字符串变量var中从第offset个字符后(不包括第offset个字符)的字符开始,到最后的部分,offset的取值在0 到 ${#var}-1 之间(bash4.2后,允许为负值)
${var:offset:number}
#返回字符串变量var中从第offset个字符后(不包括第offset个字符)的字符开始,长度为number的部分
取字符串右边的字符
${var: -length}
#取字符串的最右侧几个字符,取字符串的最右侧几个字符, 注意:冒号后必须有一空白字符
[root@zzh data]#str=`echo {a..z}|tr -d " "`
[root@zzh data]#echo $str
abcdefghijklmnopqrstuvwxyz
[root@zzh data]#echo ${str:-5}
abcdefghijklmnopqrstuvwxyz
[root@zzh data]#echo ${str: -5}
vwxyz
掐头去尾
${var:offset:-length}
#从最左侧跳过offset字符,一直向右取到距离最右侧lengh个字符之前的内容,即:掐头去尾
取倒数的范围
${var: -length:-offset}
#先从最右侧向左取到length个字符开始,再向右取到距离最右侧offset个字符之间的内容,注意:-length前空格,并且length必须大于offset
[root@zzh data]#echo $str
abcdefghijklmnopqrstuvwxyz
[root@zzh data]#echo ${str: -4:-3}
w
[root@zzh data]#echo ${str: -5:-3}
vw
[root@zzh data]#echo ${str: -6:-3}
uvw
[root@zzh data]#
1.2基于模式取子串
删左留右
${var#*word}
#其中word可以是指定的任意字符,自左而右,查找var变量所存储的字符串中,第一次出现的word, 删除字符串开头至第一次出现word字符串(含)之间的所有字符,即懒惰模式,以第一个word为界删左留右
#同上,贪婪模式,不同的是,删除的是字符串开头至最后一次由word指定的字符之间的所有内容,即贪婪模
式,以最后一个word为界删左留右
${var##*word}
删右留左
${var%word*}
#其中word可以是指定的任意字符,功能:自右而左,查找var变量所存储的字符串中,第一次出现的word, 删除字符串最后一个字符向左至第一次出现word字符串(含)之间的所有字符,即懒惰模式,以从右向左的第一个word为界删右留左
${var%%word*}
#同上,只不过删除字符串最右侧的字符向左至最后一次出现word字符之间的所有字符,即贪婪模式,以从右向左的最后一个word为界删右留左
2.查找替换
- ${var/pattern/substr} ${变量/搜索的字符串/修改的字符串}
- #查找var所表示的字符串中,第一次被pattern所匹配到的字符串,以substr替换之
- 懒惰模式
- ${var//pattern/substr}
- 查找var所表示的字符串中,所有能被pattern所匹配到的字符串,以substr替换之
- 贪婪模式
例子:
例子:
[root@zzh data]#useradd haha
[root@zzh data]#user=`grep haha /etc/passwd`
[root@zzh data]#echo ${user}
haha:x:1002:1002::/home/haha:/bin/bash
[root@zzh data]#echo ${user/haha/ccc}
ccc:x:1002:1002::/home/haha:/bin/bash
[root@zzh data]#echo ${user//haha/ccc}
ccc:x:1002:1002::/home/ccc:/bin/bash
[root@zzh data]#
- ${var/#pattern/substr}
- 查找var所表示的字符串中,行首被pattern所匹配到的字符串,以substr替换之(在此处“#”代表开头)
- ${var/%pattern/substr}
- 查找var所表示的字符串中,行尾被pattern所匹配到的字符串,以substr替换之(在此处“%"代表结尾)
[root@zzh data]#user=`grep haha /etc/passwd`
[root@zzh data]#echo ${user/#haha/ccc}
ccc:x:1002:1002::/home/haha:/bin/bash
[root@zzh data]#user=`grep haha /etc/passwd`
[root@zzh data]#echo ${user}
haha:x:1002:1002::/home/haha:/bin/bash
[root@zzh data]#
[root@zzh data]#echo ${user/%bash/nologin}
haha:x:1002:1002::/home/haha:/bin/nologin
[root@zzh data]#
3.查找并删除
- ${var/pattern}
- 删除var表示的字符串中第一次被pattern匹配到的字符串
- 懒惰模式
[root@zzh data]#user=`grep haha /etc/passwd`
[root@zzh data]#echo ${user}
haha:x:1002:1002::/home/haha:/bin/bash
[root@zzh data]#echo ${user/haha}
:x:1002:1002::/home/haha:/bin/bash
[root@zzh data]#
- ${var//pattern}
- 删除var表示的字符串中所有被pattern匹配到的字符串
- 贪婪模式
- ${var/#pattern}
- 删除var表示的字符串中所有以pattern为行首所匹配到的字符串
[root@zzh data]#user=`grep haha /etc/passwd`
[root@zzh data]#echo ${user}
haha:x:1002:1002::/home/haha:/bin/bash
[root@zzh data]#echo ${user/#haha}
:x:1002:1002::/home/haha:/bin/bash
- ${var/%pattern}
- 删除var所表示的字符串中所有以pattern为行尾所匹配到的字符串
[root@zzh data]#user=`grep haha /etc/passwd`
[root@zzh data]#echo ${user}
haha:x:1002:1002::/home/haha:/bin/bash
[root@zzh data]#
[root@zzh data]#
[root@zzh data]#echo ${user/%bash}
haha:x:1002:1002::/home/haha:/bin/
[root@zzh data]#
补充:
getent命令会读取文件/etc/hosts中的内容
4.大小写转换
- ${var^^}
- 把var中的所有小写字母转换为大写
- ${var,,}
- 把var中的所有大写字母转换为小写
[root@zzh data]#user=`grep haha /etc/passwd`
[root@zzh data]#echo ${user}
haha:x:1002:1002::/home/haha:/bin/bash
[root@zzh data]#echo ${user^^}
HAHA:X:1002:1002::/HOME/HAHA:/BIN/BASH
[root@zzh data]#echo ${user,,}
haha:x:1002:1002::/home/haha:/bin/bash
[root@zzh data]#
四、高级变量
1 .高级变量赋值
[root@localhost ~]#unset str
#str没有配置
[root@localhost ~]#var=${str-lucky}
#定义var的变量为str-lucky
[root@localhost ~]#echo $var
#输出var的值为lucky
lucky
[root@localhost ~]#unset str;var=${str-lucky};echo $var
lucky
[root@localhost ~]#str=" ";var=${str-lucky};echo $var
#str变量为空
#var输出变量为空
[root@localhost ~]#str=1;var=${str-lucky};echo $var
#str变量定义为1
#var输出变量为非空字符串 输出str的变量
1
[root@localhost ~]#str=1;var=${str:-lucky};echo $var
#str变量定义为1
#var输出变量为非空字符串 输出str的变量
1
[root@localhost ~]#str=1;var=${str+lucky};echo $var
#str变量定义为1 "+"输出var的定义变量lucky
lucky
[root@localhost ~]#str=1;var=${str:+lucky};echo $var
#str变量定义为1 ":+"输出var的定义变量lucky
lucky
[root@localhost ~]#str=1;var=${str=lucky};echo $var
#str变量定义为1 "="输出str的定义变量1
1
[root@localhost ~]#str=1;var=${str:=lucky};echo $var
#str变量定义为1 ":="输出str的定义变量1
1
[root@localhost ~]#str=1;var=${str?lucky};echo $var
#str变量定义为1 "?"输出str的定义变量1
1
[root@localhost ~]#str=1;var=${str:?lucky};echo $var
1
#str变量定义为1 ":?"输出str的定义变量1
2. 变量的间接引用
eval命令
eval将首先扫描命令行进行所有的置换,然后再执行该命令。该命令适用于一次扫描无法实现其功能的变量,该命令可以对变量进行两次扫描
[root@zzh data]#n=10
[root@zzh data]#echo {1..$n}
{1..10}
[root@zzh data]#eval echo {1..$n}
1 2 3 4 5 6 7 8 9 10
[root@zzh data]#
[root@zzh data]#i=a
[root@zzh data]#b=2
[root@zzh data]#$i$b=hello
bash: a2=hello: 未找到命令...
[root@zzh data]#eval $i$b=hello
[root@zzh data]#echo $a2
hello
[root@zzh data]#echo $i$b
a2
[root@zzh data]#
五、其他脚本工具
1.创建临时文件 --------------mktemp
mktemp 命令用于创建并显示临时文件,可避免冲突
格式:
mktemp [OPTION]... [TEMPLATE]
说明:TEMPLATE: filenameXXX,X至少要出现三个
常见选项:
-d #创建临时目录
-p DIR或--tmpdir=DIR #指明临时文件所存放目录位置