文本分析（课题研究常用方法）

　　文本分析（课题研究常用方法）
　　awk是流式编辑器，针对文档中的行来操作，一行一行地执行。awk可以非常方便、高效地操作文档以及字符，从而实现我们想要的格式。它的功能非常强大，我在shell脚本中经常使用它来处理字符串。下面介绍几个在工作中使用awk较频繁的用法。
　　1。截取文档中的某个段
　　示例命令如下：headn2test。txtawkF39；：39；39；｛print1｝39；rootbin
　　本例中，F选项的作用是指定分隔符。如果不加F选项，则以空格或者tab为分隔符。print为打印的动作，用来打印某个字段。1为第1个字段，2为第2个字段，以此类推。但0比较特殊，它表示整行：headn2test。txtawkF39；：39；39；｛print0｝39；root：x：0：0：root：root：binbashbin：x：1：1：bin：bin：sbinnologin
　　注意awk的格式，F后面紧跟单引号，单引号里面为分隔符。print的动作要用｛｝括起来，否则会报错。print还可以打印自定义的内容，但是自定义的内容要用双引号括起来，如下所示：headn2test。txtawkF39；：39；39；｛print1234｝39；rootx00binx11
　　2。匹配字符或者字符串
　　在文档中过滤出包含指定字符串的行，示例命令如下：awk39；oo39；test。txtroot：x：0：0：root：root：binbashlp：x：4：7：lp：varspoollpd：sbinnologinmail：x：8：12：mail：varspoolmail：sbinnologinoperator：x：11：0perator：root：sbinnologinpostfix：x：89：89：：varspoolpostfix：sbinnologinsetroubleshoot：x：992：990：：varlibsetroubleshoot：sbinnologin
　　这跟sed的用法类似，能实现grep的功能，但没有颜色显示，肯定没有grep用起来方便。不过awk还有比sed更强大的匹配，如下所示：awkF39；：39；39；1oo39；test。txtroot：x：0：0：root：root：binbashsetroubleshoot：x：992：990：：varlibsetroubleshoot：sbinnologin
　　它可以让某个段去匹配，这里的就是匹配的意思。
　　此外，awk还可以多次匹配，如下所示：awkF39；：39；39；root｛print1，3｝test｛print1，3｝39；test。txtroot0operator11test1006
　　本例中，awk匹配完root，再匹配test，并且只打印所匹配的段。
　　3。条件操作符
　　有时候，在匹配字符的同时要给出限定条件，比如第3段为0。示例命令如下：awkF39；：39；39；3039；etcpasswdroot：x：0：0：root：root：binbash
　　在awk中，我们可以用逻辑符号进行判断，比如就是等于，也可以理解为精确匹配。另外，还有、、、code、code！等。值得注意的是，在和数字比较时，若把要比较的数字用双引号引起来，那么awk不会将其认为是数字，而会认为是字符，不加双引号就会认为是数字。示例命令如下：codecodeawkF39；：39；39；350039；etcpasswdheadn5shutdown：x：6：0：shutdown：sbin：sbinshutdownhalt：x：7：0：halt：sbin：sbinhaltmail：x：8：12：mail：varspoolmail：sbinnologinnobody：x：65534：65534：KernelOverflowUser：：sbinnologindbus：x：81：81：Systemmessagebus：：sbinnologin
　　本例中，阿铭本想把uid大于等于500的行打印出来，但是结果并不理想。这是因为awk把所有的数字都当作字符了，就跟上一章中提到的sort排序原理一样。但是，如果不加双引号，就得到了想要的结果：awkF39；：39；39；350039；etcpasswdheadn5nobody：x：65534：65534：KernelOverflowUser：：sbinnologinsystemdcoredump：x：999：997：systemdCoreDumper：：sbinnologinpolkitd：x：998：996：Userforpolkitd：：sbinnologingeoclue：x：997：995：Userforgeoclue：varlibgeoclue：sbinnologinunbound：x：996：991：UnboundDNSresolver：etcunbound：sbinnologinawkF39；：39；39；7！sbinnologin39；etcpasswdroot：x：0：0：root：root：binbashsync：x：5：0：sync：sbin：binsyncshutdown：x：6：0：shutdown：sbin：sbinshutdownhalt：x：7：0：halt：sbin：sbinhaltaminglinux：x：1000：1000：aminglinux：homeaminglinux：binbash
　　上例中，！表示不匹配，它除了针对某一个段的字符进行逻辑比较外，还可以在两个段之间进行逻辑比较。如下所示：awkF39；：39；39；3
　　另外，还可以使用和，它们分别表示并且和或者。的用法如下：awkF39；：39；39；353
　　的用法如下：awkF39；：39；39；310007binbash39；etcpasswdroot：x：0：0：root：root：binbashnobody：x：65534：65534：KernelOverflowUser：：sbinnologinaminglinux：x：1000：1000：aminglinux：homeaminglinux：binbash
　　4。awk的内置变量
　　awk常用的变量有OFS、NF和NR。OFS和F选项有类似的功能，也是用来定义分隔符的，但是它是在输出的时候定义的。NF表示用分隔符分隔后一共有多少段。NR表示行号。
　　OFS的用法示例如下：head5etcpasswdawkF39；：39；39；｛OFS｝｛print1，3，4｝39；root00bin11daemon22adm34lp47
　　还有更高级一些的用法：awkF39；：39；39；｛OFS｝｛if（31000）｛print1，2，3，4｝｝39；etcpasswdnobodyx6553465534aminglinuxx10001000
　　变量NF的具体用法如下：headn3etcpasswdawkF39；：39；39；｛printNF｝39；777headn3etcpasswdawkF39；：39；39；｛printNF｝39；binbashsbinnologinsbinnologin
　　这里NF是多少段，NF是最后一段的值。变量NR的具体用法如下：headn3etcpasswdawkF39；：39；39；｛printNR｝39；123
　　我们还可以使用NR作为判断条件，如下所示：awk39；NR4039；etcpasswdinsights：x：978：976：RedHatInsights：varlibinsights：sbinnologinsshd：x：74：74rivilegeseparatedSSH：varemptysshd：sbinnologinavahi：x：70：70：AvahimDNSDNSSDStack：varrunavahidaemon：sbinnologintcpdump：x：72：72：：：sbinnologinaminglinux：x：1000：1000：aminglinux：homeaminglinux：binbash
　　NR也可以配合段匹配一起使用，如下所示：awkF39；：39；39；NR
　　5。awk中的数学运算
　　awk可以更改段值，示例命令如下：headn3etcpasswdawkF39；：39；39；1root39；rootx00rootrootbinbashrootx11binbinsbinnologinrootx22daemonsbinsbinnologin
　　awk也可以对各个段的值进行数学运算，示例命令如下：headn2etcpasswdroot：x：0：0：root：root：binbashbin：x：1：1：bin：bin：sbinnologinheadn2etcpasswdawkF39；：39；39；｛734｝39；headn2etcpasswdawkF39；：39；39；｛734；print0｝39；rootx00rootroot0binx11binbin2
　　awk还可以计算某个段的总和，示例命令如下：awkF39；：39；39；｛（tottot3）｝；END｛printtot｝39；etcpasswd84699
　　这里的END是awk特有的语法，表示所有的行都已经执行。如下所示：awkF39；：39；39；｛if（1root）｛print0｝｝39；etcpasswdroot：x：0：0：root：root：binbash
　　其实awk可以写成一个脚本文件，而且有它特有的语法。在awk中使用if判断、for循环都可以，只是在日常管理工作中，使用那么复杂的语句并不常见。
　　最后，我们再附上常见正则字符的解释。
　　。表示任意一个字符，比如空格、特殊符号等。
　　表示前面的字符有0个或多个，比如a那就是0个a或者多个a。
　　。表示任意个任意字符，就是贪婪匹配了。
　　就是前面的字符有1个或者多个，如a就是a、aa、aaa
　　？就是？前面的字符有1个或者0个。
　　｛｝里面是一个范围，如｛1，5｝就是｛｝前面的字符有15个。
　　表示或者，如ab就是a或者b。
　　表示这里面的任意一个字符，如〔abc〕就是a或者b或者c。此外，也可以用范围〔09〕表示任意一个数字，用〔az〕表示任意一个小写字母。