Linux三剑客之Sed

发表于 更新于 阅读次数： 阅读次数： 本文字数： 7.6k 阅读时长 ≈ 7 分钟

1、介绍

sed 会根据脚本命令来处理文本文件中的数据，这些命令要么从命令行中输入，要么存储在一个文本文件中，此命令执行数据的顺序如下：

  1. 每次仅读取一行内容；
  2. 根据提供的规则命令匹配并修改数据。注意，sed 默认不会直接修改源文件数据，而是会将数据复制到缓冲区中，修改也仅限于缓冲区中的数据；
  3. 将执行结果输出。

当一行数据匹配完成后，它会继续读取下一行数据，并重复这个过程，直到将文件中所有数据处理完毕。

2、格式

sed 命令的基本格式如下：

1
[root@localhost ~]# sed [选项] [脚本命令] 文件名

该命令常用的选项及含义，如表图所示

选项 含义
-e 脚本命令 该选项会将其后跟的脚本命令添加到已有的命令中。
-f 脚本命令文件 该选项会将其后文件中的脚本命令添加到已有的命令中。
-n 默认情况下，sed 会在所有的脚本指定执行完毕后，会自动输出处理后的内容，而该选项会屏蔽启动输出，需使用 print 命令来完成输出。
-i 此选项会直接修改源文件，要慎用。

3、参数

文件：指定待处理的文本文件列表。

sed常用命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
a\ 在当前行下面插入文本;
i\ 在当前行上面插入文本;
c\ 把选定的行改为新的文本;
d 删除，删除选择的行;
D 删除模板块的第一行;
s 替换指定字符;
h 拷贝模板块的内容到内存中的缓冲区;
H 追加模板块的内容到内存中的缓冲区;
g 获得内存缓冲区的内容，并替代当前模板块中的文本;
G 获得内存缓冲区的内容，并追加到当前模板块文本的后面;
l 列表不能打印字符的清单;
n 读取下一个输入行，用下一个命令处理新的行而不是用第一个命令;
N 追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码;
p 打印模板块的行。 P(大写) 打印模板块的第一行;
q 退出Sed;
b lable 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾;
r file 从file中读行;
t label if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾;
T label 错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾;
w file 写并追加模板块到file末尾;
W file 写并追加模板块的第一行到file末尾;
! 表示后面的命令对所有没有被选定的行发生作用;
= 打印当前行号;
# 把注释扩展到下一个换行符以前;

sed替换标记

1
2
3
4
5
6
7
g 表示行内全面替换;
p 表示打印行;
w 表示把行写入一个文件;
x 表示互换模板块中的文本和缓冲区中的文本;
y 表示把一个字符翻译为另外的字符（但是不用于正则表达式）;
\1 子串匹配标记;
& 已匹配字符串标记;

sed元字符集

1
2
3
4
5
6
7
8
9
10
11
12
13
^ 匹配行开始，如：/^sed/匹配所有以sed开头的行;
$ 匹配行结束，如：/sed$/匹配所有以sed结尾的行;
. 匹配一个非换行符的任意字符，如：/s.d/匹配s后接一个任意字符，最后是d;
* 匹配0个或多个字符，如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行;
[] 匹配一个指定范围内的字符，如/[ss]ed/匹配sed和Sed;
[^] 匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行;
\(..\) 匹配子串，保存匹配的字符，如s/\(love\)able/\1rs，loveable被替换成lovers;
& 保存搜索字符用来替换其他字符，如s/love/**&**/，love这成**love**;
\< 匹配单词的开始，如:/\
\> 匹配单词的结束，如/love\>/匹配包含以love结尾的单词的行;
x\{m\} 重复字符x，m次，如：/0\{5\}/匹配包含5个0的行;
x\{m,\} 重复字符x，至少m次，如：/0\{5,\}/匹配至少有5个0的行;
x\{m,n\} 重复字符x，至少m次，不多于n次，如：/0\{5,10\}/匹配5~10个0的行;

4、脚本命令

4.1 替换命令：s

此命令的基本格式为：

1
[address]s/pattern/replacement/flags

其中，address 表示指定要操作的具体行，pattern 指的是需要替换的内容，replacement 指的是要替换的新内容。

此命令中常用的 flags 标记如下表所示

flags 标记 功能
n 1~512 之间的数字，表示指定要替换的字符串出现第几次时才进行替换，例如，一行中有 3 个 A，但用户只想替换第二个 A，这是就用到这个标记；
g 对数据中所有匹配到的内容进行替换，如果没有 g，则只会在第一次匹配成功时做替换操作。例如，一行数据中有 3 个 A，则只会替换第一个 A；
p 会打印与替换命令中指定的模式匹配的行。此标记通常与 -n 选项一起使用。
w file 将缓冲区中的内容写到指定的 file 文件中；
& 用正则表达式匹配的内容进行替换；
\n 匹配第 n 个子串，该子串之前在 pattern 中用 () 指定。
\ 转义（转义替换部分包含：&、\ 等）。

查看原文件

1
2
3
[root@node1 ~]# cat data1.txt
This is a test of the test script.
This is the second test of the test script.

替换后为

1
2
3
[root@node1 ~]# sed 's/test/hello/2' data1.txt
This is a test of the hello script.
This is the second test of the hello script.

可以看到，使用数字 2 作为标记的结果就是，sed 编辑器只替换每行中第 2 次出现的匹配模式。

如果要用新文件替换所有匹配的字符串，可以使用 g 标记：

1
2
3
[root@node1 ~]# sed 's/test/hello/g' data1.txt
This is a hello of the hello script.
This is the second hello of the hello script.

-n 选项会禁止 sed 输出，但 p 标记会输出修改过的行，将二者匹配使用的效果就是只输出被替换命令修改过的行，例如：

1
2
3
4
5
[root@node1 ~]# cat data1.txt
This is a test of the test script.
This is the second test of the test script.
[root@node1 ~]# sed -n 's/second/hello/p' data1.txt
This is the hello test of the test script.

w 标记会将匹配后的结果保存到指定文件中，比如：

1
2
3
4
5
[root@node1 ~]# sed 's/second/hello/w test.txt' data1.txt
This is a test of the test script.
This is the hello test of the test script.
[root@node1 ~]# cat test.txt
This is the hello test of the test script.

在使用 s 脚本命令时，替换类似文件路径的字符串会比较麻烦，需要将路径中的正斜线进行转义，例如：

1
2
3
4
[root@node1 ~]# cat /etc/passwd
test:x:1000:1000::/home/test:/bin/bash
[root@node1 ~]# sed -n 's/\/home\/test/\/home\/hello/p' /etc/passwd
test:x:1000:1000::/home/hello:/bin/bash

以上命令中字符 / 在sed中作为定界符使用，也可以使用任意的定界符

1
2
3
4
5
6
7
8
9
[root@node1 ~]# sed 's:test:ok:g' data1.txt
This is a ok of the ok script.
This is the second ok of the ok script.
[root@node1 ~]# sed 's#test#ok1#g' data1.txt
This is a ok1 of the ok1 script.
This is the second ok1 of the ok1 script.
[root@node1 ~]# sed 's|test|ok2|g' data1.txt
This is a ok2 of the ok2 script.
This is the second ok2 of the ok2 script.

4.2 删除命令：d

删除空白行

1
2
3
4
5
6
7
8
9
10
[root@node1 ~]# cat data2.txt
This is line number 1.
This is line number 2.
This is line number 3.
This is line number 4.
[root@node1 ~]# sed '/^$/d' data2.txt
This is line number 1.
This is line number 2.
This is line number 3.
This is line number 4.

删除指定行

1
2
3
4
[root@node1 ~]# sed '2d' data2.txt
This is line number 1.
This is line number 3.
This is line number 4.

删除第二行到末尾所有行

1
2
[root@node1 ~]# sed '2,$d' data2.txt
This is line number 1.

删除最后一行

1
2
3
4
[root@node1 ~]# sed '$d' data2.txt
This is line number 1.
This is line number 2.
This is line number 3.

在此强调，在默认情况下 sed 并不会修改原始文件，这里被删除的行只是从 sed 的输出中消失了，原始文件没做任何改变。

4.3 插入命令：a和i

a 命令表示在指定行的后面附加一行，i 命令表示在指定行的前面插入一行，这里之所以要同时介绍这 2 个脚本命令，因为它们的基本格式完全相同，如下所示：

1
2
3
4
5
6
[root@node1 ~]# sed '3i/This is an inserted line.' data2.txt
This is line number 1.
This is line number 2.
This is an inserted line.
This is line number 3.
This is line number 4.
1
2
3
4
5
6
[root@node1 ~]# sed '3a/This is an inserted line.' data2.txt
This is line number 1.
This is line number 2.
This is line number 3.
This is an inserted line.
This is line number 4.

4.4 替换文本命令：c

c 命令表示将指定行中的所有内容，替换成该选项后面的字符串。

1
2
3
4
5
[root@node1 ~]# sed '3c/This is an inserted line test.' data2.txt
This is line number 1.
This is line number 2.
This is an inserted line test.
This is line number 4.

4.5 转换命令：y

y 转换命令是唯一可以处理单个字符的 sed 脚本命令

转换命令会对 inchars 和 outchars 值进行一对一的映射，即 inchars 中的第一个字符会被转换为 outchars 中的第一个字符，第二个字符会被转换成 outchars 中的第二个字符…这个映射过程会一直持续到处理完指定字符。如果 inchars 和 outchars 的长度不同，则 sed 会产生一条错误消息。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@node1 ~]# cat data2.txt
This is line number 1.
This is line number 2.
This is line number 3.
This is line number 4.
This is line number 5.
This is line number 6.
This is line number 7.
This is line number 8.
This is line number 9.
[root@node1 ~]# sed 'y/123/789/' data2.txt
This is line number 7.
This is line number 8.
This is line number 9.
This is line number 4.
This is line number 5.
This is line number 6.
This is line number 7.
This is line number 8.
This is line number 9.

可以看到，inchars 模式中指定字符的每个实例都会被替换成 outchars 模式中相同位置的那个字符。

转换命令是一个全局命令，也就是说，它会文本行中找到的所有指定字符自动进行转换，而不会考虑它们出现的位置，再打个比方：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
[root@node1 ~]# cat data2.txt
This is line number 1.
This is line number 2.
This is line number 3.
This is line number 4.
This is line number 5.
This is line number 6.
This is line number 7.
This is line number 8.
This is line number 9.
This is line number 10.
This is line number 11.
This is line number 12.
[root@node1 ~]# sed 'y/123/789/' data2.txt
This is line number 7.
This is line number 8.
This is line number 9.
This is line number 4.
This is line number 5.
This is line number 6.
This is line number 7.
This is line number 8.
This is line number 9.
This is line number 70.
This is line number 77.
This is line number 78.

sed 转换了在文本行中匹配到的字符，无法限定只转换在特定地方出现的字符。

4.6 打印命令：p

p 命令表示搜索符号条件的行，并输出该行的内容

1
2
3
4
5
6
7
[root@node1 ~]# cat data2.txt
This is line number 1.
This is line number 2.
This is line number 3.
This is line number 4.
[root@node1 ~]# sed -n '/number 2/p' data2.txt
This is line number 2.

可以看到，用 -n 选项和 p 命令配合使用，我们可以禁止输出其他行，只打印包含匹配文本模式的行。

如果需要在修改之前查看行，也可以使用打印命令，比如与替换或修改命令一起使用。可以创建一个脚本在修改行之前显示该行，如下所示：

1
2
3
[root@node1 ~]# sed -n '/3/{> p> s/line/test/p> }' data2.txt
This is line number 3.
This is test number 3.

4.7 写入命令：w

w 命令用来将文本中指定行的内容写入文件中，如果不想让行直接输出，可以用 -n 选项

可以看到，通过使用 w 脚本命令，sed 可以实现将包含文本模式的数据行写入目标文件。

1
2
3
4
[root@node1 ~]# sed -n '1,2w test2.txt' data2.txt
[root@node1 ~]# cat test2.txt
This is line number 1.
This is line number 2.

4.8 插入文件命令：r

r 命令用于将一个独立文件的数据插入到当前数据流的指定位置

1
2
3
4
5
6
7
8
9
10
[root@node1 ~]# cat test2.txt
hello world
This is line number 2.
[root@node1 ~]# sed '2r test2.txt' data2.txt
This is line number 1.
This is line number 2.
hello world
This is line number 2.
This is line number 3.
This is line number 4.

如果你想将指定文件中的数据插入到数据流的末尾，可以使用 $ 地址符

4.9 退出命令：q

q 命令的作用是使 sed 命令在第一次匹配任务结束后，退出 sed 程序，不再进行对后续数据的处理。

1
2
3
[root@node1 ~]# sed '2q' data2.txt
This is line number 1.
This is line number 2.

4.10 多点编辑：e

允许在同一行里执行多条命令：

1
2
3
4
[root@node1 ~]# sed -e '1d' -e 's/line/hello/' data2.txt
This is hello number 2.
This is hello number 3.
This is hello number 4.