在Linux上使用GNU sed的方法




在Linux上使用GNU sed的方法

2022-07-20 20:24:06 网络知识 官方管理员

Linux基金会宣布了一个全新的LFCS(Linux基金会认证系统管理员(LinuxFoundationCertifiedSysadmin))认证计划。这一计划旨在帮助遍布全世界的人们获得其在处理Linux系统管理任务上能力的认证。这些能力包括支持运行的系统服务,以及第一手的故障诊断、分析,以及为工程师团队在升级时提供明智的决策。

Linux,GNU,sed

处理Linux中的文本流

Linux将程序中的输入和输出当成字符流或者字符序列。在开始理解重定向和管道之前,我们必须先了解三种最重要的I/O(输入和输出(InputandOutput))流,事实上,它们都是特殊的文件(根据UNIX和Linux中的约定,数据流和外围设备(设备文件)也被视为普通文件)。

在>(重定向操作符)和|(管道操作符)之间的区别是:前者将命令与文件相连接,而后者将命令的输出和另一个命令相连接。

#command>file

#command1|command2

由于重定向操作符会静默地创建或覆盖文件,我们必须特别小心谨慎地使用它,并且永远不要把它和管道混淆起来。在Linux和UNIX系统上管道的优势是:第一个命令的输出不会写入一个文件而是直接被第二个命令读取。

在下面的操作练习中,我们将会使用这首诗——《Ahappychild》(作者未知)

Linux,GNU,sed

使用sed

sed是流编辑器(streameditor)的缩写。为那些不懂术语的人额外解释一下,流编辑器是用来在一个输入流(文件或者管道中的输入)执行基本的文本转换的工具。

sed最基本的用法是字符替换。我们将通过把每个出现的小写y改写为大写Y并且将输出重定向到ahappychild2.txt开始。g标志表示sed应该替换文件每一行中所有应当替换的实例。如果这个标志省略了,sed将会只替换每一行中第一次出现的实例

基本语法:

#sed's/term/replacement/flag'file

我们的样例:

#sed's/y/Y/g'ahappychild.txt>ahappychild2.txt

Linux,GNU,sed

如果你要在替换文本中搜索或者替换特殊字符(如/,\,&),你需要使用反斜杠对它进行转义。

例如,我们要用一个符号来替换一个文字,与此同时我们将把一行最开始出现的第一个I替换为You。

#sed's/and/\&/g;s/^I/You/g'ahappychild.txt

Linux,GNU,sed

在上面的命令中,众所周知^(插入符号)是正则表达式中用来表示一行开头的符号。

正如你所看到的,我们可以通过使用分号分隔以及用括号包裹来把两个或者更多的替换命令(并在它们中使用正则表达式)连接起来。

另一种sed的用法是显示或者删除文件中选中的一部分。在下面的样例中,将会显示/var/log/messages中从6月8日开始的头五行。

#sed-n'/^Jun8/p'/var/log/messages|sed-n1,5p

请注意,在默认的情况下,sed会打印每一行。我们可以使用-n选项来覆盖这一行为并且告诉sed只需要打印(用p来表示)文件(或管道)中匹配的部分(第一个命令中指定以Jun8开头的行,第二个命令中指定一到五行)。

最后,可能有用的技巧是当检查脚本或者配置文件的时候可以保留文件本身并且删除注释。下面的单行sed命令删除(d)空行或者是开头为#的行(|字符对两个正则表达式进行布尔OR操作)。

#sed'/^#\|^$/d'apache2.conf

Linux,GNU,sed

uniq命令

uniq命令允许我们返回或者删除文件中重复的行,默认写到标准输出。我们必须注意到,除非两个重复的行相邻,否则uniq命令不会删除他们。因此,uniq经常和一个前置的sort命令(一种用来对文本行进行排序的算法)搭配使用。默认情况下,sort使用第一个字段(用空格分隔)作为关键字段。要指定一个不同的关键字段,我们需要使用-k选项。

样例

du–sch/path/to/directory/*命令将会以人类可读的格式返回在指定目录下每一个子文件夹和文件的磁盘空间使用情况(也会显示每个目录总体的情况),而且不是按照大小输出,而是按照子文件夹和文件的名称。我们可以使用下面的命令来让它通过大小排序。

#du-sch/var/*|sort-h

Linux,GNU,sed

你可以通过使用下面的命令告诉uniq比较每一行的前6个字符(-w6)(这里是指定的日期)来统计日志事件的个数,而且在每一行的开头输出出现的次数(-c)。

#cat/var/log/mail.log|uniq-c-w6

Linux,GNU,sed

grep命令

grep在文件(或命令输出)中搜索指定正则表达式,并且在标准输出中输出匹配的行。

样例

显示文件/etc/passwd中用户gacanepa的信息,忽略大小写。

#grep-igacanepa/etc/passwd

Linux,GNU,sed

显示/etc文件夹下所有rc开头并跟随任意数字的内容。

#ls-l/etc|greprc[0-9]

Linux,GNU,sed

tr命令使用技巧

tr命令可以用来从标准输入中转换(改变)或者删除字符,并将结果写入到标准输出中。

样例

把sortuniq.txt文件中所有的小写改为大写。

#catsortuniq.txt|tr[:lower:][:upper:]

Linux,GNU,sed

压缩ls–l输出中的分隔符为一个空格。

#ls-l|tr-s''

cut命令使用方法

cut命令可以基于字节(-b选项)、字符(-c)或者字段(-f)提取部分输入(从标准输入或者文件中)并且将结果输出到标准输出。在最后一种情况下(基于字段),默认的字段分隔符是一个制表符,但可以由-d选项来指定不同的分隔符。

样例

从/etc/passwd中提取用户账户和他们被分配的默认shell(-d选项允许我们指定分界符,-f选项指定那些字段将被提取)。

#cat/etc/passwd|cut-d:-f1,7

Linux,GNU,sed

将以上命令结合起来,我们将使用last命令的输出中第一和第三个非空文件创建一个文本流。我们将使用grep作为第一过滤器来检查用户gacanepa的会话,然后将分隔符压缩至一个空格(tr-s'')。下一步,我们将使用cut来提取第一和第三个字段,最后使用第二个字段(本样例中,指的是IP地址)来排序之后,再用uniq去重。

#last|grepgacanepa|tr-s‘‘|cut-d’‘-f1,3|sort-k2|uniq

Linux,GNU,sed

上面的命令显示了如何将多个命令和管道结合起来,以便根据我们的要求得到过滤后的数据。你也可以逐步地使用它以帮助你理解输出是如何从一个命令传输到下一个命令的(顺便说一句,这是一个非常好的学习经验!)

总结

尽管这个例子(以及在当前教程中的其他实例)第一眼看上去可能不是非常有用,但是他们是体验在Linux命令行中创建、编辑和操作文件的一个非常好的开始。请随时留下你的问题和意见——不胜感激!


发表评论:

最近发表
网站分类
标签列表