linux中最为常用的三大文本（grep,sed,awk）处理工具

Linux sed 命令
https://blog.csdn.net/lqy971966/article/details/107006904
Linux grep 命令
https://blog.csdn.net/lqy971966/article/details/106927370
Linux awk 命令
https://blog.csdn.net/lqy971966/article/details/107019195

1. 定义

Sed is a stream editor.
sed全称是：stream editor 流编辑器
对文件的操作无非就是”增删改查“，sed命令就是实现对文件的”增删改查“。

1.1 man sed //man 的解释

sed - stream editor for filtering and transforming text
用于过滤和转换文本的流编辑器

2. 功能

Sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。

sed 本身是一个非常复杂的工具，有专门的书籍讲解 sed 的具体用法

作为linux中最为常用的三大文本（awk，sed，grep）处理工具之一

2.1 注意-sed 不会直接修改源文件数据

sed 默认不会直接修改源文件数据，而是会将数据复制到缓冲区中，修改也仅限于缓冲区中的数据

3. sed 与 vi 的区别

vi 采用的是交互式文本编辑模式，你可以用键盘命令来交互性地插入、删除或替换数据中的文本。

sed 采用的是流编辑模式，最明显的特点是，在 sed 处理数据之前，需要预先提供一组规则，sed 会按照此规则来编辑数据。

sed 是一种非交互式编辑器(即用户不必参与编辑过程)，它使用预先设定好的编辑指令对输入的文本进行编辑，完成之后再输出编辑结构

4. sed工作原理

1. sed 会一次处理一行内容。
2. 处理时，把当前处理的行存储在临时缓冲区中，成为"模式空间"，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。
3. 文件内容并没有改变，除非你使用重定向存储输出。

5. 语法

sed [-hnV] [ -e<script>] [-f<script文件>] [文本文件]

sed [选项] [脚本命令] 文件名
选项部分，常见选项包括 -n，-e，-i，-f，-r选项。
脚本命令，常见包括： 增a 删d 改s(替换) 插入i 打印p 取代c

5.1 选项说明：

选项 含义

1. -e 如果需要用sed对文本内容进行多种操作，则需要执行多条子命令来进行操作。
2. -f 指定sed脚本的文件名
   如果命令操作比较多的时候就会比较麻烦，这时候把多个子命令操作写入脚本文件，然后使用 -f 选项来指定该脚本
3. -n 取消默认的输出
   默认情况下，sed 会在所有的脚本指定执行完毕后，会自动输出处理后的内容，
   而该选项会屏蔽启动输出，需使用 print 命令来完成输出。
4. -i 此选项会直接修改源文件，要慎用。

5.2 动作/脚本命令说明：

a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；

p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～只输出被替换命令修改过的行

s ：取代，可以直接进行取代的工作. s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！

6. 示例及说明

下面所有例子都以 test 文件为例子说明

hello world,hello hani.
hello world,hello hani.
hani is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc

6.1 sed s 字符串替换

6.1.1 sed s 格式

s/pattern/replacement/flags

flags 标记 功能

1. n 1~512 之间的数字
   表示指定要替换的字符串出现第几次时才进行替换，例如，一行中有 6 个 A，但用户只想替换第二个 A，这是就用到这个标记；
2. g 对数据中所有匹配到的内容进行替换
   如果没有 g，则只会在第一次匹配成功时做替换操作。
   sed ‘s/old/new/’ test 匹配每一行的第一个old替换为new
   例如，一行数据中有 3 个 A，则只会替换第一个 A；

6.1.2 sed ‘s/is/are/2’ test [局部替换]

sed ‘s/old/new/’ test 匹配每一行的第一个old替换为new

sed 编辑器只替换每行中第 2 次出现的匹配模式

root@ubuntu-admin-a1:/home/sedTest# sed 's/hello/HELLO/2' test 
hello world,HELLO hani.
hello world,HELLO hani.
hani is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc

6.1.3 sed ‘s/hani/HANI/g’ test [g 全部替换]

替换所有匹配的字符串

root@ubuntu-admin-a1:/home/sedTest# sed 's/hani/HANI/g' test 
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,HANI is handsome.
this is the test script of sed test.
linux sed
133456789
/aaa/bbb/ccc

6.1.4 sed -n ‘s/hani/HANI/p’ test [-n p 只输出修改的行]

-n 选项会禁止 sed 输出，但 p 标记会输出修改过的行，
将二者匹配使用的效果就是只输出被替换命令修改过的行

root@ubuntu-admin-a1:/home/sedTest# sed -n 's/hani/HANI/p' test 
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,hani is handsome.

6.1.5 其他常用

sed ‘s/old/new/’ test
匹配每一行的第一个old替换为new
sed ‘s/old/new/gi’ test
匹配所有old替换为new，g 代表一行多个，i 代表匹配忽略大小写
sed ‘3,9s/old/new/gi’ test
匹配第 3~9 行所有old替换为new

6.1.6 转换windows文件格式为unix,去除\r：sed -i ‘s/\r//’ test

sed -i 's/\r//' test

\r \n 回车换行符详解
https://blog.csdn.net/lqy971966/article/details/108355292

6.2 sed d 删除

格式为：
[#]d

6.2.1 sed ‘d’ test [d 删除全部]

root@ubuntu-admin-a1:/home/sedTest# sed 'd' test 

6.2.2 sed ‘3d’ test [3d 删除指定行]

root@ubuntu-admin-a1:/home/sedTest# sed '3d' test 
hello world,hello hani.
hello world,hello hani.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc

6.2.3 sed ‘1,4d’ test [1,4d 删除区间]

root@ubuntu-admin-a1:/home/sedTest# sed '1,4d' test 
linux sed
123456789
/aaa/bbb/ccc

6.3 sed a 和 i 添加和插入

a 命令表示在指定行的后面附加一行，i 命令表示在指定行的前面插入一行，
它们的基本格式完全相同

格式为：
[#]a（或 i）\新文本内容

6.3.1 sed ‘3i you are beautiful’ test [3i 指定行之前插入]

root@ubuntu-admin-a1:/home/sedTest# sed '3i you are beautiful' test 
hello world,hello hani.
hello world,hello hani.
you are beautiful
hani is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc

6.3.2 sed ‘3a you are more beautiful’ test [3a 指定行之后添加]

root@ubuntu-admin-a1:/home/sedTest# sed '3a you are more beautiful' test 
hello world,hello hani.
hello world,hello hani.
hani is a good man,hani is handsome.
you are more beautiful
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc

6.3.3 sed ‘4i hani\ ……’ test [……\ 添加/插入多行]

root@ubuntu-admin-a1:/home/sedTest# sed '4i hani\
hani hani\
hani hani hani' test 
hello world,hello hani.
hello world,hello hani.
hani is a good man,hani is handsome.
hani
hani hani
hani hani hani
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc

6.4 sed c 取代

6.4.1 sed ‘3c you are beautiful’ test [3c 取代指定行]

root@ubuntu-admin-a1:/home/sedTest# sed '3c you are beautiful' test 
hello world,hello hani.
hello world,hello hani.
you are beautiful
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc

6.5 sed y 转换字符

y 转换命令是唯一可以处理单个字符的 sed 脚本命令
格式
[address]y/inchars/outchars/

6.5.1 sed ‘y/hani/HANI/’ test [每个字符进行映射替换]

1. 转换命令会对 inchars 和 outchars 值进行一对一的映射，即 inchars 中的第一个字符会被转换为 outchars 中的第一个字符，
   第二个字符会被转换成 outchars 中的第二个字符…
   这个映射过程会一直持续到处理完指定字符。
   如果 inchars 和 outchars 的长度不同，则 sed 会产生一条错误消息。

2. 转换命令是一个全局命令，也就是说，它会文本行中找到的所有指定字符自动进行转换，而不会考虑它们出现的位置

   root@ubuntu-admin-a1:/home/sedTest# sed ‘y/hani/HANI/’ test
   Hello world,Hello HANI.
   Hello world,Hello HANI.
   HANI Is A good mAN,HANI Is HANdsome.
   tHIs Is tHe test scrIpt of sed test.
   lINux sed
   123456789
   /AAA/bbb/ccc

6.6 sed p 打印脚本命令

p 命令表示搜索符号条件的行，并输出该行的内容
格式为：
[address]p

6.6.1 sed -n ‘/hani/p’ test [只打印包含匹配文本模式的行]

root@ubuntu-admin-a1:/home/sedTest# sed -n '/hani/p' test 
hello world,hello hani.
hello world,hello hani.
hani is a good man,hani is handsome.

6.6.2 sed p 其他常用

sed ‘2p’ test 重复打印第 2 行
sed ‘1,3p’ test 重复打印第1~3行
sed -n ‘2p’ test 只打印第 2 行
sed -n ‘1,3p’ test 只打印第 1~3 行
sed -n ‘/hani/p’ test 打印匹配到 hani 的行，类似grep
sed -n ‘/hani/!p’ test ! 反选，打印没有匹配到 hani 的行
sed -n ‘s/old/new/gp’ test 只打印匹配替换的行

6.7 sed w 将所选的行写入文件

w 命令用来将文本中指定行的内容写入文件中
格式如下：
[address]w filename

6.7.1 sed ‘s/hani/HANI/w another’ test [w 写到另外文件]

w 标记会将匹配后的结果保存到指定文件中

root@ubuntu-admin-a1:/home/sedTest# sed  's/hani/HANI/w another' test 
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc
root@ubuntu-admin-a1:/home/sedTest# ls
another  test
root@ubuntu-admin-a1:/home/sedTest# cat another 
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,hani is handsome.

6.8 sed q 退出脚本命令

q 命令的作用是使 sed 命令在第一次匹配任务结束后，退出 sed 程序，不再进行对后续数据的处理。

2.8.1 sed ‘1q’ test [第一次匹配后退出]

root@ubuntu-admin-a1:/home/sedTest# sed '1q' test 
hello world,hello hani.

8. sed 脚本命令的寻址方式/定址

定址用于决定对哪些行进行编辑。
地址的形式可以是数字、正则表达式、或二者的结合。
如果没有指定地址，sed将处理输入文件的所有行。

如果只想将命令作用于特定行或某些行，则必须写明 address 部分，表示的方法有以下 2 种：
以数字形式指定行区间；
用文本模式指定具体行区间。

8.1 以数字形式指定行区间

8.1.1 sed ‘1,4s/hani/HANI/’ test [多行替换]

root@ubuntu-admin-a1:/home/sedTest# sed '1,4s/hani/HANI/' test 
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc

其中，sed 's/hani/HANI/' test 默认所有都替换

8.2 用文本模式指定行区间

sed 允许指定文本模式来过滤出命令要作用的行
格式：
/pattern/command

参考

http://c.biancheng.net/view/4028.html
https://www.cnblogs.com/zhangzongjian/p/10708222.html