shell编程(一):功能、执行、基础
阅读原文时间:2023年07月15日阅读:1

1.shell的功能

(1)自动化批量初始化系统:对N台系统初始化(装系统时对系统的时区、yum源、软件包的更新、安全的设置进行初始化)

(2)自动化批量部署软件程序:(LAMP/LNMP/Tomcat/LVS/Nginx)

(3)写一些自动化的管理应用程序:(KVM虚拟化管理、集群的管理比如扩容、mysql的部署升级备份等)关键是管理命令而不是语法。

(4)日志的分析处理程序:(比如打印出当天网站的PV、UV量;top100;tcp的各个状态统计等):用到比较多的命令是grep/awk。

(5)自动化备份、恢复程序:(mysql完全备份、增量备份) Crond计划任务(定时)

(6)自动化管理程序(批量远程修改密码、配置更新)

(7)自动化信息采集及监控程序(收集每个系统/应用的状态信息:如cpu、mem、disk使用和tcp状态等、apache和mysql的健康信息等)

tcp状态:ss -an | grep :80    过滤80端口的tcp连接的状态。

(8)和其他程序搭配使用。Zabbix是用来收集各种健康状态、cpu、mem等信息(很直观)。自动化扩容(增加云服务器---->部署应用):开始是利用Zabbix进行监控报警、手动增加服务器和上线业务,现可以zabbix监控(python开发的)(cpu>80%)报警,然后调用python的api实现对云主机的增加、减少,利用shell实现业务的上线。

2.shell执行

(1)一个简单的shell程序

在ping01.sh里写下:

ping -c1 www.qfedu.com &>/dev/null && echo "ok…….." || echo “not ok”

ping -c1 代表ping1次

每个命令执行完成后都有个返回值,执行成功返回0,不成功为非0.返回值变量为?比如echo $?  ($?表示获取值) echo $?表示上个命令返回的值.

&&:逻辑判断。当前面执行成功(0),后面才会执行(注:分号;把两条命令隔开,但不具备逻辑判断,用于命令的排序。)

&>/dev/nul: 不想要ping的信息,就重定向到null中去(&代表混合输出,包含标准输出和错误输出)

执行:bash ping01.sh 或者sh ping01.sh

也可以通过绝对路径或者相对路径(./ping01.sh)执行,但要执行权限。

chmod +x ping01.sh  给文件加执行权限

#!/bin/bash  定义程序用哪个解释器执行。当执行时没有明确指定解释器时会生效(比如用相对路径执行脚本)。

bash、sh、source和.执行的区别:

bash、sh是在子shell中执行。source和.在当前shell执行。当shell文件里有切换目录命令时,用./和bash执行,不会切换目录(因为这两个是在sub shell子shell中执行。重新开了个shell,当前的shell就不会变);而 . 或者source是在当前shell执行,就会切换当前的目录。(常规情况在子shell执行,但想要脚本中定义的一个变量就在当前shell中生效,就用.或者source。比如在/root/.bashrc下修改别名,重启也会生效,当通过source /root/.bashrc执行,就可以使用刚才定义的别名)

(2)程序语言执行

程序语言执行时是不一样的。c程序写完后要编译,然后变成机器码(cpu可以执行的),所以c最快。java写完后也要编码,但没有c快,因为编译完后是字节码(只能被java的虚拟机执行),cpu不能直接识别。java移植性好,任何平台只要有jdk虚拟机就能执行,但c的话和cpu的指令集有关(x86复杂指令集、Power精简指令集)(gcc编译默认编译是当前平台的)。python有两种执行:解释执行和编译执行(编译成字节码:python虚拟机执行)

程序由逻辑数据组成。程序执行方式有两种:编译和解释型。shell不需要事先编译,执行时才去考虑逻辑关系(解释)。c语言在执行时逻辑已经考虑好了,直接拿代码执行,所以快。

3.bash文件中执行其他程序的代码

一个脚本里既有shell代码,又有python代码。在python那段代码前后写上EOF重定向。

#!/bin/bash

ping -c1 www.qfedu.com &>/dev/null && echo "ok…….."|| echo "not ok"

/usr/bin/python <<-EOF

print("hello")

EOF

echo 'hello bash'

将python代码重定向给python执行。

例子:

/usr/bin/cat <<-EOF

EOF

也是让cat执行中间的代码。(这个EOF可以是任何标识。通用 的是EOF)

python文件中不能识别shell脚本。

4.shell基础

内容:特性、变量、条件测试、数值运算、流程控制和循环

1.login shell和nologin shell区别:

su是切换用户。当su - yq 是login shell登陆shell,切换到用户yq的目录。而没有加-的su yq,叫nologin shell,没有加载新用户的shell环境,还是root的目录,但没有访问权限。

shell相关的文件:系统级别的/etc/profile、/etc/hashrc和用户级别的家目录下的~/.bash-profile、~/.bashrc、~/.bash_logout和~/.bash_history。前4个是在登陆shell时执行。后面两个是在离开shell执行。

login shell登陆时执行4个文件,nologin shell登陆时执行/etc/hashrc~/.bashrc,不执行profile文件。

rmp -qc bash 查看bash的配置文件

所以要加-

2.bash shell特点

(1)命令和文件的自动补齐 tab键

能补齐是因为安装了bash-com软件

rpm -qa | grep bash-completion

(2)历史记忆功能

上下键、!number(执行给定行号的历史命令)、!string(找到最近一个以string开头的命令) 、!$(代表上一个命令 的最后一个参数)、!!(上一个命令。脚本没有上下键)、

(3)别名功能

alias(查看当前shell的别名)、unalias取消别名。或者执行时在别名前加\跳过别名

~/.bashrc中定义别名(永久的)

(4)快捷键

ctrl+r:搜索一个历史命令

ctrl+d:退出shell 相当于exit或者logout

ctrl+a、ctrl+e:命令的编辑(ctrl+a将光标移动到最前面、ctrl+e:删除命令)

ctrl+s、ctrl+q:s是锁住屏幕(输命令没反应),q是退出锁住的状态

(5)前后台作业控制

&:后台作业。比如sleep 3000 &  把睡3000秒放到后台作业。此时grep aux|grep sleep可以看到进程

ctrl+z:把正在做的作业放到后台

screen:先装一个yum -y install screen。连上终端先输入screen -S 会话名(定义会话名称)。然后输入其他命令。退出程序后,再重新进入可以screen -list查看到之前会话名的和会话名的数字。然后输入screen -r 数字就可以回到退出前状态,识别上次会话(连到远程的shell的首选

ctrl+c:只能杀掉前台进程(不能杀后台)。进程执行顺序:父进程fork一个子进程,子进程会占终端,父进程会sleep睡觉,只有子进程结束,通知父进程资源回收,释放掉所有资源,父进程就会回到终端。比如sleep 80对于shell来讲是个子进程,因此父进程就没办法工作,因此就将其放到后台去(加&或者按ctrl+z)。

jobs:查看后台进程

bg或者bg+作业号:查看后台进程或者让某进程到后台工作

fg或者fg+作业号:回到前台

例子:vim /etc/hosts做到一般,按ctrl+z将其放到后台,此时进入终端,执行其他命令,然后再按fg,就又将vim从后台调入前台,继续执行vim操作。

kill %3给当前终端作业号为3的发信号。没有%就是杀死进程号为3的进程。因此%不能省

(6)重定向

每个进程打开一个文件,就有一个文件描述符fd。(0代表输入的文件(默认是键盘)、1代表输出的文件(默认是屏幕)、2代表错误的文件)。

输出重定向:> 覆盖  >>追加

2>、2>> 错误输出

2>&1:标准错误输出重定向到标准输出   &>:混合输出

cat < /etc/hosts > /etc/hosts1相当于拷贝

cat<<EOF 把输入的内容给cat执行

cat < file2 将多行内容输入到file2文件中

(7)管道

一个命令的输出做下一个命令的输入

ip addr | grep ‘inet’ | grep eth0

tee:复制一份到文件里

ip addr | grep ‘inet’ | tee test.txt |grep eth0 #覆盖

ip addr | grep ‘inet’ | tee -a test.txt |grep eth0 #追加

date>a.txt 重定向到文件,但终端不显示了

date | tee a.txt 会在终端显示,并且把显示输入到文件中

(8)命令排序

分号; 不具备逻辑判断,一行输入多行命令。前面失败,后面照常执行

&& : 前面成功后面才执行如./configure && make && make install

|| 具备逻辑判断。前面失败,就执行后面的命令;前面成功,后面的命令不执行

如ping -c1 10.10.10.2 &> /dev/null && echo ‘ok’ || echo ‘no’  ping成功执行ok,失败执行no

true永远返回为真。echo $?查看上条命令的返回值

注意:

command &     后台执行

command &> /dev/null   混合输出(标准输出1和错误输出2)

command && command2  命令排序,逻辑判断。

(9)shell通配符(元字符)

元字符就是符号表示的不是本意的符号。  不同于正则(正则是前面)

* 任意多个字符 ls *.txt或者find / -iname ‘*-eth0’

? 任意一个字符

[] 匹配括号中的任意一个字符

() 在子shell中执行。例如(umask 077; touch yq.txt)开一个子shell去执行,否则umask会修改当前shell的权限设置。

注:umask默认是002。用户创建文件的权限默认是666,创建目录的默认权限是777。但是由于umask会修改权限,即减少相应的数字,则最终文件权限是664,目录权限是775。可以通过umask + 数字 修改。

{} 集合 如touch file{1..9}

\ 转义符   \可以将换行的功能转义掉,就可以换行。只转义后面的第一个字符

如echo -e ‘a\tb’  a和b之间有个tab键 echo -e是处理特殊字符

(10)echo颜色输出

echo -e '\e[1;31mThis is a red text.\e[0m'

\e[1; 是固定写法。

31m-37m是字体的不同的7个颜色

\e[0m 是将颜色恢复成正常颜色(颜色的重置)。不写这个,后面终端命令都会变成前面的颜色。

注意文本和前面颜色的命令是紧挨着的。

背景颜色:41m-47m

echo -e '\e[1;41mThis is a red text.\e[0m'

注意:要有-e才能识别特殊字符

printf格式化输出,相比echo好。