基础命令三

1.系统性能

1.查看内存使用

• free
• vmstat
• sar -r
• ps

2.查看网络使用情况

• sar -n DEV
• ifconfig: RX / TX
• cat /proc/net/dev
• nicstat
• netstat -i: RX-ERR / TX-ERR

3.系统相关利用率

uptime: 获取主机运行时间和查询Linux系统负载等信息. w: 显示当前登录用户数 ps aux | grep ksoftirqd: 查看进程ksoftirqd的使用信息

常用统计过去一分钟，过去五分钟，过去十五分钟的负载命令

# uptime | awk '{print $(NF-2)}'
# uptime | awk '{print $(NF-1)}'
# uptime | awk '{print $(NF)}'

2. 日志查看

1.cat

• -n 或 --number:由 1 开始对所有输出的行数编号.
• -b 或 --number-nonblank:和 -n 相似，只不过对于空白行不编号.
• -s 或 --squeeze-blank:当遇到有连续两行以上的空白行，就代换为一行的空白行.
• -v 或 --show-nonprinting:使用 ^ 和 M- 符号，除了 LFD 和 TAB 之外.
• -E 或 --show-ends : 在每行结束处显示 $.
• -T 或 --show-tabs: 将 TAB 字符显示为 ^I.
• -e : 等价于 -vE.
• -A, --show-all:等价于 -vET.
• -e:等价于"-vE"选项
• -t:等价于"-vT"选项

2.more

• -num 一次显示的行数
• -d 提示使用者,在画面下方显示 [Press space to continue, 'q' to quit.] ,如果使用者按错键,则会显示 [Press 'h' for instructions.] 而不是 '哔' 声
• -l 取消遇见特殊字元 ^L(送纸字元)时会暂停的功能
• -f 计算行数时,以实际上的行数,而非自动换行过后的行数(有些单行字数太长的会被扩展为两行或两行以上)
• -p 不以卷动的方式显示每一页,而是先清除屏幕后再显示内容
• -c 跟 -p 相似,不同的是先显示内容再清除其他旧资料
• -s 当遇到有连续两行以上的空白行,就代换为一行的空白行
• -u 不显示下引号 (根据环境变数 TERM 指定的 terminal 而有所不同)
• +/pattern 在每个文档显示前搜寻该字串(pattern),然后从该字串之后开始显示
• +num 从第 num 行开始显示
• fileNames 欲显示内容的文档,可为复数个数

3.less

• -b <缓冲区大小> 设置缓冲区的大小
• -e 当文件显示结束后,自动离开
• -f 强迫打开特殊文件,例如外围设备代号、目录和二进制文件
• -g 只标志最后搜索的关键词
• -i 忽略搜索时的大小写
• -m 显示类似more命令的百分比
• -N 显示每行的行号
• -o <文件名> 将less 输出的内容在指定文件中保存起来
• -Q 不使用警告音
• -s 显示连续空行为一行
• -S 行过长时间将超出部分舍弃
• -x <数字> 将"tab"键显示为规定的数字空格
• /字符串:向下搜索"字符串"的功能
• ?字符串:向上搜索"字符串"的功能
• n:重复前一个搜索(与 / 或 ? 有关)
• N:反向重复前一个搜索(与 / 或 ? 有关)
• b 向后翻一页
• d 向后翻半页
• h 显示帮助界面
• Q 退出less 命令
• u 向前滚动半页
• y 向前滚动一行
• 空格键 滚动一页
• 回车键 滚动一行
• [pagedown]: 向下翻动一页
• [pageup]: 向上翻动一页

4.vi/vim 常用的几个命令:

• i 切换到输入模式,以输入字符.
• x 删除当前光标所在处的字符.
• : 切换到底线命令模式,以在最底一行输入命令.
• o: 在当前行之后插入一行
• O: 在当前行之前插入一行
• ctrl+f: 向下滚动一屏
• ctrl+b: 向上滚动一屏
• u: 撤销
• U: 撤销对整个行的操作
• Ctrl+r: 重做,即该撤销的撤销
• x: 删除当前字符
• dd: 删除当前行
• 10d: 上传从当前行开始的10行
• yy: 复制当前行
• p:在当前光标后粘贴,如果之前使用了yy命令来复制一行, 那么在当前行的下一行进行粘贴

输入模式: 在命令模式下按下i就进入了输入模式

在输入模式中,可以使用以下按键:

• 字符按键以及Shift组合,输入字符
• ENTER: 回车键,换行
• BACK SPACE: 退格键,删除光标前一个字符
• DEL: 删除键,删除光标后一个字符
• 方向键: 在文本中移动光标
• HOME/END: 移动光标到行首/行尾
• Page Up/Page Down: 上/下翻页
• Insert: 切换光标为输入/替换模式,光标将变成竖线/下划线
• ESC: 退出输入模式,切换到命令模式

底线命令模式:在命令模式下按下:(英文冒号)就进入了底线命令模式

底线命令模式可以输入单个或多个字符的命令,可用的命令非常多. 在底线命令模式中,基本的命令有(已经省略了冒号):

• q 退出程序
• w 保存文件
• set number: 显示行号
• 0: 移动到行首
• $: 移动到行尾
• /text: 查找text, 按 n 键查找下一个,按 N 键查找前一个
• '?test': 查找text, 返现查找, 按 n 键查找下一个,按 N 键查找前一个
• '%s/old/new/g': 将old替换成new, 替换当前行的所有匹配

按ESC键可随时退出底线命令模式.

3.文本编辑

3.1 sed命令

命令格式

sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)

选项[options]

• -e<script>或--expression=<script>: 以选项中的指定的script来处理输入的文本文件
• -f<script文件>或--file=<script文件>: 以选项中指定的script文件来处理输入的文本文件
• -h或--help: 显示帮助
• -n或--quiet或——silent: 仅显示script处理后的结果
• -V或--version: 显示版本信息

sed命令

• a\ 在当前行下面插入文本
• i\ 在当前行上面插入文本
• c\ 把选定的行改为新的文本
• d 删除,删除选择的行
• D 删除模板块的第一行
• s 替换指定字符
• h 拷贝模板块的内容到内存中的缓冲区
• H 追加模板块的内容到内存中的缓冲区
• g 获得内存缓冲区的内容,并替代当前模板块中的文本
• G 获得内存缓冲区的内容,并追加到当前模板块文本的后面
• l 列表不能打印字符的清单
• n 读取下一个输入行,用下一个命令处理新的行而不是用第一个命令
• N 追加下一个输入行到模板块后面并在二者间嵌入一个新行,改变当前行号码
• p 打印模板块的行
• P(大写) 打印模板块的第一行
• q 退出Sed
• b lable 分支到脚本中带有标记的地方,如果分支不存在则分支到脚本的末尾
• r file 从file中读行
• t label if分支,从最后一行开始,条件一旦满足或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾
• T label 错误分支,从最后一行开始,一旦发生错误或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾
• w file 写并追加模板块到file末尾
• W file 写并追加模板块的第一行到file末尾
• ! 表示后面的命令对所有没有被选定的行发生作用
• = 打印当前行号码
• # 把注释扩展到下一个换行符以前

sed替换标记

• g 表示行内全面替换
• p 表示打印行
• w 表示把行写入一个文件
• x 表示互换模板块中的文本和缓冲区中的文本
• y 表示把一个字符翻译为另外的字符(但是不用于正则表达式)
• \1 子串匹配标记
• & 已匹配字符串标记

sed元字符集

• ^ 匹配行开始,如：/^sed/匹配所有以sed开头的行
• $ 匹配行结束,如：/sed$/匹配所有以sed结尾的行
• . 匹配一个非换行符的任意字符,如：/s.d/匹配s后接一个任意字符,最后是d
• * 匹配0个或多个字符,如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行
• [] 匹配一个指定范围内的字符,如/[ss]ed/匹配sed和Sed
• [^] 匹配一个不在指定范围内的字符,如：/^A-RT-Zed/匹配不包含A-R和T-Z的一个字母开头,紧跟ed的行
• \(..\) 匹配子串,保存匹配的字符,如s/(love)able/\1rs,loveable被替换成lovers
• & 保存搜索字符用来替换其他字符,如s/love/&/,love这成love
• \< 匹配单词的开始,如:/\<love/匹配包含以love开头的单词的行
• \> 匹配单词的结束,如/love>/匹配包含以love结尾的单词的行
• x\{m\} 重复字符x,m次,如：/0{5}/匹配包含5个0的行
• x\{m,\} 重复字符x,至少m次,如：/0{5,}/匹配至少有5个0的行
• x\{m,n\} 重复字符x,至少m次,不多于n次,如：/0{5,10}/匹配5~10个0的行

用法实例

# 替换
sed 's/book/books/' file

# -n选项和p命令一起使用表示只打印那些发生替换的行
sed -n 's/test/TEST/p' file

# 直接编辑文件选项-i,会匹配file文件中每一行的第一个book替换为books, 后缀 /g 标记会替换每一行中的所有匹配
sed -i 's/book/books/g' file


# 删除空白行
sed '/^$/d' file

# 删除文件的第2行到末尾所有行
sed '2,$d' file

范围替换文本(,)
sed '/test/,/west/s/$/aaa bbb/' file

# 奇偶行打印
sed -n 'p;n' test.txt  #奇数行
sed -n 'n;p' test.txt  #偶数行

3.2 awk命令

语法形式

awk [options] 'script' var=value file(s)
awk [options] -f scriptfile var=value file(s)

命令选项

• F fs: fs指定输入分隔符,fs可以是字符串或正则表达式,如 -F :
• -v var=value: 赋值一个用户定义变量,将外部变量传递给awk
• -f scripfile: 从脚本文件中读取awk命令
• -m[fr] val: 对val值设置内在限制,-mf选项限制分配给val的最大块数目;-mr选项限制记录的最大数目.这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用

awk脚本是由模式和操作组成的 模式

• /正则表达式/: 使用通配符的扩展集
• 关系表达式: 使用运算符进行操作,可以是字符串或数字的比较测试
• 模式匹配表达式: 用运算符~(匹配)和 ~!(不匹配)
• BEGIN语句块、pattern语句块、END语句块

操作: 操作由一个或多个命令、函数、表达式组成,之间由换行符或分号隔开,并位于大括号内

• 变量或数组赋值
• 输出命令
• 内置函数
• 控制流语句

awk脚本基本结构

awk 'BEGIN{ print "start" } pattern{ commands } END{ print "end" }' file

一个awk脚本通常由：

• BEGIN语句块: 在awk开始从输入流中读取行之前被执行,是一个可选的语句块
• 能够使用模式匹配的通用语句块: 是可选的.如果没有提供pattern语句块,则默认执行{ print }
• END语句块: 在awk从输入流中读取完所有的行之后即被执行

任意一个部分都可以不出现在脚本中,脚本通常是被单引号或双引号中

内置变量(预定义变量)

• $n 当前记录的第n个字段,比如n为1表示第一个字段,n为2表示第二个字段
• $0 这个变量包含执行过程中当前行的文本内容
• [N] ARGC 命令行参数的数目
• [G] ARGIND 命令行中当前文件的位置(从0开始算)
• [N] ARGV 包含命令行参数的数组
• [G] CONVFMT 数字转换格式(默认值为%.6g)
• [P] ENVIRON 环境变量关联数组
• [N] ERRNO 最后一个系统错误的描述
• [G] FIELDWIDTHS 字段宽度列表(用空格键分隔)
• [A] FILENAME 当前输入文件的名
• [P] FNR 同NR,但相对于当前文件
• [A] FS 字段分隔符(默认是任何空格)
• [G] IGNORECASE 如果为真,则进行忽略大小写的匹配
• [A] NF 表示字段数,在执行过程中对应于当前的字段数
• [A] NR 表示记录数,在执行过程中对应于当前的行号
• [A] OFMT 数字的输出格式(默认值是%.6g)
• [A] OFS 输出字段分隔符(默认值是一个空格)
• [A] ORS 输出记录分隔符(默认值是一个换行符)
• [A] RS 记录分隔符(默认是一个换行符)
• [N] RSTART 由match函数所匹配的字符串的第一个位置
• [N] RLENGTH 由match函数所匹配的字符串的长度
• [N] SUBSEP 数组下标分隔符(默认值是34)

说明：[A]``[N]``[P]``[G]表示第一个支持变量的工具，[A]=awk、[N]=nawk、[P]=POSIXawk、[G]=gawk

运算与判断

字符串函数

格式化字符串输出(sprintf使用)

时间函数

strftime日期和时间格式说明符

使用实例

# 打印出一行中的最后一个字段
awk '{print $NF}' filename

# 统计文件中的行数
awk 'END{ print NR }' filename