sed /nodes/s/logfile/logfile_nodes/ sed.txt 下面是其输出:
system \system \
system \system \system \
4.5. 更改以冒号结尾的每个字符串
现在,尝试使用一些您在使用 grep 时学习到的正则表达式知识,不过这次是在 sed 命令中使用。通过在 sed 中使用以下正则表达式,您可以更改以冒号结尾的每个字符串: sed s/[a-z]*:/value:/g sed.txt 输出应该类似如下:
system \system \system \system \system \ 这相当酷,但不是非常合理。它不是非常合理的原因在于,您的所有变量前都有单词 value,没有办法对各个变量进行区分。然而,通过使用 sed 的另一个功能,您可以使这转变为一个实际的示例。
4.6. “&”号
“和”号 (&) 表示与您的正则表达式匹配的字符串。换句话说,如果 [a-z]*: 在某个特定行上被证明为 project:,则“和”号将包含该值。这会非常有用。看一下以下这个示例: sed s/[a-z]*:/new_\\&/g sed.txt 这次,您修改了每个匹配字符串,但是保留了与每个变量关联的标识符:
system \system \
system \system \system \
4.7. 执行多个命令序列
使用 sed,您还可以一次做多件事情。若要一次执行多个命令序列,您必须在每个表达式前使用 -e 标志。缺省情况下,sed 将第一个参数解释为一个表达式,但是在运行多个命令时,您需要作出更明确的指定,因此要使用 -e 标志。例如: sed -e s/[a-z]*:/value:/g -e s/logfile/name/g sed.txt 可以在此例中看到,sed 在适当位置插入了 value: 和 name:
system \system \system \system \system \
正如您开始看到的,在大规模批处理过程中,sed 可以是个非常强大的文件编辑工具。在前一示例中,您是在对单个文件进行操作,就像在使用 grep 时所做的那样。不要忘了,这些实用程序的部分强大功能在于跨多个文件运行它们,这可以使用通配符或文件列表替换单个文件来实现,您已在本教程中这样使用过了。
5. 在命令行上使用 awk
本教程首先对正则表达式进行了基本的解释,然后介绍了 grep 和 sed。grep 是一个强大的搜索实用程序,而 sed 则是一个更加强大的搜索和替换实用程序。awk 则更进一步,它在全功能的命令行编程语言中使用正则表达式。正如 sed 一样,当在命令行上使用 awk 时,它接受基于行的输入。awk 一次解释一行输入,但是与 sed 不同,它将该行上的每个部分作为变量来处理,这些变量可用作内联代码的输入和输出。 应该指出的是,AWK(大写)是一个可用于编写脚本(而不只是在命令行上使用)的全功能编程语言,但本教程集中于 awk,后者是动态解释 AWK 命令的命令行实用程序。 顺便提一下,任何人阅读到这里都会考虑如何实际运用所学到的知识,我刚才就使用 grep 在某些旧代码中搜索理想的 awk 示例: grep awk */*.pl 大多数系统管理员或程序员每天都会看到这些工具的应用。下面是我的输出中的一些行: Edaemon/m_checkcurrentdisk.pl:$freespace = `awk '(NR==1) {print \\$4 / 1024 / 1024}' grep.tmp`;
|-------- XML error: The previous line is longer than the max of 90 characters ---------| Edaemon/m_getdatetime.pl:$month = `awk '(NR==1) {print \\$2}' datetime.txt`; Odaemon/odaemon.beowulf.dvd.pl:$filesize = `awk '(NR==1) {print \\$1}' temp.txt`; 这些是非常好的示例,因为它们说明了非常基础的 awk 应用。对于您的第一次尝试,甚至可以使它更简单。对于您的 awk 测试,请在一个空目录中创建以下文件(每个文件的内容无关紧要,并且它们可以是空的)。 Screenshot_1.jpg Screenshot_2.jpg Screenshot_3.jpg awk.txt regular.txt sed.txt
5.1. 使用 ls 的输出作为 awk 的输入
缺省情况下,awk 读取输入文件中的每一行,并将内容分离为由空格确定的变量。在非常简单的示例中,您可以使用 ls 的输出作为 awk 的输入并打印结果。此示例结合使用
管道字符 (|) 和 ls 来将输出发送到 awk: ls | awk ' { print $1 } ' awk 随后打印每行上的第一项,在此例中为每行上的唯一项:
Screenshot_1.jpg Screenshot_2.jpg Screenshot_3.jpg awk.txt regular.txt sed.txt
5.2. 使用 ls -l 来为 awk 生成多列输入
这确实是非常基本的功能。对于下一个示例,请使用 ls -l 来为 awk 生成多列输入: ls -l 不同系统的 ls 实现稍有差别,下面是一些示例输出: total 432 -rw-rw-rw- 1 guest guest 169074 Oct 15 14:51 Screenshot_1.jpg -rw-rw-rw- 1 guest guest 23956 Oct 15 20:56 Screenshot_2.jpg -rw-rw-rw- 1 guest guest 12066 Oct 15 20:57 Screenshot_3.jpg -rw-r--r-- 1 tuser tuser 227 Oct 15 20:16 awk.txt -rw-r--r-- 1 tuser tuser 233 Oct 15 19:35 regular.txt -rw-r--r-- 1 tuser tuser 227 Oct 15 23:16 sed.txt 请注意,文件所有者是每行上的第三个项,文件名是每行上的第九个项(缺省情况下,awk 中的项之间用空格分隔)。通过打印每行上的第三和第九个变量,您可以使用 awk 来从该列表提取文件所有者和文件名。下面是完成这项工作的命令: ls -l | awk ' { print $3 \ 您将注意到,awk 中的 print 命令有两个引号,而且引号中有一个空格。这只是为了在输出的文件所有者和文件名之间打印一个空格:
guest Screenshot_1.jpg guest Screenshot_2.jpg guest Screenshot_3.jpg tuser awk.txt tuser regular.txt tuser sed.txt
您可以在 awk 打印语句中的变量之间的引号中放置任何文本。
5.3. 使用正则表达式来指定行
现在您已经学习了如何使用 awk 的基础知识,但本教程不是关于正则表达式的吗?awk 中大量使用了正则表达式。最常见的示例是在 awk 命令前附加一个正则表达式,用于指定您想要操作的行。与 sed 一样,awk 中的正则表达式位于两个正斜杠之间。例如,如果您只希望操作 tuser 所拥有的文件,则可以使用以下命令: ls -l | awk ' /tuser/ { print $3 \
该命令产生以下输出: tuser awk.txt tuser regular.txt tuser sed.txt
5.4. 更改文件扩展名
在另一个示例中,您可能希望更改每个文本文件的文件扩展名而不更改图像文件。为此,您将需要使用句点而不是空格来分隔输入变量,然后使用正则表达式来指示您仅希望搜索文本文件。若要基于句点来分隔变量,可以使用 -F 标志,后跟后跟您希望使用的字符(用引号引起来)。尝试此示例,通过管道将 awk 输出发送到某个 Shell(此 Shell 将执行 awk 生成的命令): ls –l | awk -F\ 后续的 ls -l 将显示新的文件名:
-rw-rw-rw- 1 guest guest 169074 Oct 15 14:51 Screenshot_1.jpg -rw-rw-rw- 1 guest guest 23956 Oct 15 20:56 Screenshot_2.jpg -rw-rw-rw- 1 guest guest 12066 Oct 15 20:57 Screenshot_3.jpg -rw-r--r-- 1 tuser tuser 227 Oct 15 20:16 awk.doc -rw-r--r-- 1 tuser tuser 233 Oct 15 19:35 regular.doc -rw-r--r-- 1 tuser tuser 227 Oct 15 23:16 sed.doc 记住,这些只是 awk 的入门基础知识,但是 AWK 是一种全功能的编程语言,所具有的功能远远超出了本教程所介绍的内容。请查看一下 awk man 页。如果您希望学习更多的知识,花钱买一本优秀的图书是明智的。
5.5. 总结
本教程中的示例应该足以使您基本了解使用正则表达式的 UNIX 过滤器以及如何在命令行上使用它们。所使用的三个实用程序 grep、sed 和 awk 都具有众多的内置选项和功能,这些内容大大超出了本教程讨论的入门课程的范围。存在一些专门探讨 sed 和 awk 的书籍。请仔细搜索一遍关于 grep 的 man 页以了解有关其强大功能的更多信息。 如果您觉得自己已掌握了正则表达式的基础知识,并希望进行下一步的学习,可以考虑学习 Perl,它是另一种充分利用了正则表达式的卓越语言。不熟悉的用户在掌握 Perl 以后,原本似乎没有意义的字符串竟变成了紧凑而高效的代码行,真的很有意思! 如果您学习了本系列中的每个教程,那么您现在已经学会了如何在命令行上操作基本文件、如何使用 vi 文本编辑器和如何使用命令行过滤器。 请密切关注本系列中的下一个教程,其中将介绍 Shell 诀窍和技巧。与此同时,您还应该竭尽所能地学习正则表达式和本教程中的实用程序。它们使您可以将很长的复杂任务转换为值得骄傲的快捷、一流的解决方案!
UNIX 新手指南,第4部分: Shell 诀窍
利用这些强大的技术来学习编写脚本的基础知识 当编写 Shell 程序时,您通常会遇到一些特殊的情况,希望采用自动方式处理。本教程包括一些关于此类情况的 Bourne Shell 脚本示例。这些情况包括字符串的进制转换(十进制到十六进制、十六进制到十进制、十进制到八进制,等等)、在管道循环中读取键盘、Subshell 执行、内联输入、为目录中的每个文件执行一次命令,以及使用多种方法构造连续循环。本系列文章的第 4 部分总结了一批执行有用功能的 Shell 单命令行程序。
开始之前
了解本教程中包含的内容以及如何最好地利用本教程。
关于本系列
本系列教程主要针对新用户撰写,简要介绍 UNIX? 基本概念。本系列教程的前三篇文章站在拥有 Microsoft? Windows? 背景的新用户的角度重温了一遍 UNIX 系统,讲述了文件系统和常用命令,介绍了 vi(最常见的 UNIX 编辑器),并且通过使用 grep、sed 和 awk 工具简要介绍了筛选器和正则表达式。
关于本教程
本教程介绍了一套新用户易于掌握的诀窍和技巧。说明在特定情况下,如何使用在 Bourne Shell 中编写的小脚本自动执行操作,包括自动执行进制转换、读取键盘输入、在 Subshell 中执行命令、为目录中的所有文件执行相同命令,以及多种形式的循环。本教程最后以一套实用的 Shell 单命令行程序作为结束。
目标
本教程的目标是向新用户介绍如何使用和实现许多在各种级别上提供自动化操作的Shell 方法。本教程通过提供针对特定情况的诀窍和技巧来说明这些方法,并且提供适用于常见任务的 Shell 单命令行程序的概要性介绍。
先决条件
本教程面向相对不熟悉 UNIX 的用户。唯一的先决条件是了解 UNIX 文件系统的基本知识和操作命令、命令行本身,以及能够使用类似 vi 的编辑器编写文本文件。本系列教程的前面部分对这些概念作了全面说明。
UNIX 新手指南,第1部分: 文件维护工具
系统管理员可以在命令行中使用各种程序来维护 UNIX? 系统中的文件。在本教程中,您将试验使用一些命令,如 cd、cp 和 tar,以便在命令行中导航 UNIX 文件系统并处理文件和目录。cd 命令用来更改目录,cp 命令用来复制文件或目录,而 tar 可以快速地对文件进行存档。您还将了解如何处理文件权限并执行简单的输入/输出。
1. 开始之前
了解本教程中包含的内容以及如何最好地利用本教程。
1.1. 关于本系列
这个由四部分组成的文章系列将从用户的角度出发,介绍 UNIX? 的基本知识。对于很久没有使用类 UNIX 操作系统的用户来说,这个初始的教程是个很好的温习。对于具有 Windows? 使用经验的新的 UNIX 用户来说,它也很有价值,因为其中引用了 Windows,并将两者进行了比较。本系列中后续的教程将详细介绍一些特定的应用程序(例如,vi),并讨论 Shell 的诀窍与技巧。
1.2. 关于本教程
系统管理员可以在命令行中使用各种程序来维护 UNIX 系统中的文件。除了这里演示的基本程序外,还有更多的程序可供使用,但这里介绍的程序都是 UNIX 系统中的基本组成部分。您可以使用mv命令对文件和目录进行移动和重命名。cp 命令可以用来复制一个或多个文件或目录。有一个称为 tar 的应用程序,它可以快速地将文件聚集在一起形成一个存档。本教程还将讨论如何遍历文件系统、处理文件权限和简单的输入/输出,以便为新的 UNIX 用户顺利地使用系统而打下基础。
1.3. 目标
本教程的目标是让新的 UNIX 用户能够熟练地使用命令行遍历系统和处理文件。它重点关注于用来操作文件的一些常用命令行实用程序,但同时也讨论了关于文件权限和输入/输出的内容,以便向您完整地介绍日常工作中需要使用的命令。
1.4. 先决条件
要学习本教程,您需要对计算机和文件有基本的认识,但并不一定需要具备使用类 UNIX 操作系统的经验。您应该知道什么是目录(文件夹)和文件,并能够使用您的帐户登
录到类 UNIX 操作系统中。如果您对 DOS 或 Microsoft? Windows 命令行比较熟悉,那么您将发现其中一些相似之处,但对于从未使用过这些命令行的用户来说,也可以顺利地学习本教程。
1.5. 系统要求
在任何运行类 UNIX 操作系统的计算机上拥有您自己的帐户,这是完成本教程所需的要求。类 UNIX 操作系统包括 IBM AIX? 操作系统、Linux?、Berkeley Software Distribution (BSD) 和 Mac OS? X(通过终端来访问命令行),以及其他一些系统。 在开始学习之前,有一点需要注意:目前可以获得许多不同的类 UNIX 分发版,从商业分发版(如 AIX)到免费的分发版(如 BSD 和 Linux)。本教程重点关注于所有分发版中都提供的一些命令和命令行选项,如果您发现与自己的分发版相比存在差异,那么请查看您的 man 页面(稍后将会进行描述)。 请根据您的选择,登录到相应的类 UNIX 操作系统,以便开始学习。在登录之后,您应该自动地开始于您的用户 home 目录中。本教程中的示例使用 tuser(测试用户)用户名。 man
在开始使用特定的命令之前,需要了解关于 man 的内容。man 表示手册 (manual),对于那些自信能够做到自给自足的 UNIX 用户来说,它是非常关键的工具。
输入man application-name可以查看关于需要了解的内容的解释。在本教程的每个页面中,我们鼓励您在执行其中指令的同时,查看相应的 man 页面。
尝试输入下面的命令(请注意,$ 在本教程中表示命令提示符,在本教程的示例中,您应该在美元符号后面输入您所看到的内容):
$ man ls
2. 目录
您需要了解的第一件事情是,如何遍历和查看文件系统。在 UNIX 中,目录用来以一种层次结构对文件进行组织。您可以在命令行中使用一系列的命令和列表来查看和遍历 UNIX 文件系统,而不要单击目录进入其中并且用图标来表示每个文件。
2.1. ls
如果您是第一次使用类 UNIX 操作系统,但是曾经使用过 DOS 或 Windows 命令行,那么 ls 基本上相当于 dir。它是列出目录 (List Directory) 的缩写。ls 可以与各种命令行选项一同使用,以便获得详细的列表、显示隐藏的文件、递归列出子目录,等等。请输入下面的示例:
$ ls $ ls -l $ ls -a $ ls -R
如果您正在命令行中考虑下一步应该进行什么操作,那么可以执行 ls,它可以帮助您了解现在所处的位置以及正在进行的操作。可以把它看作图形用户界面中的屏幕刷新操作,
用来让您了解系统的当前状态。
2.2. cd
要遍历文件系统,可以使用 cd 来更改目录。输入 cd,然后输入您希望进入的目录的名称。如果在开头使用了 /,那么这个目录的名称是绝对 目录路径:它从文件系统的根开始。如果在开头没有使用 /,那么该目录是相对 路径:从您的当前工作 目录开始。例如,如果您位于自己的 home 目录 (/home/tuser),并且希望移动到某个子目录,可以在 cd 的后面输入希望进入的目录名称。例如,如果有一个 Documents 目录,那么您可以输入下面的命令:
$ cd Documents
因为您开始于 /home/tuser/,所以该命令将使您进入 /home/tuser/Documents/。
与此相反,您可以使用绝对路径名来指定一个位置。例如,如下所示,您可以移动到 /tmp,然后返回到您的 home 目录:
$ cd /tmp
$ cd /home/tuser
2.3. 特殊目录名称
在 UNIX 中,使用一些特殊的目录名称可以使得对文件系统的遍历变得简单。三个最重要的特殊名称分别指向当前目录、当前目录的父目录和用户的 home 目录。当前目录可以由点号指定。例如,如果您输入 $ cd .,那么您依然位于当前目录中,即 /home/tuser/。当您运行当前工作目录中的可执行文件时,该字符变得特别重要。在缺省情况下,许多 UNIX Shell 会在应用程序目录中搜索应用程序,但不会搜索当前工作目录。通常可以在文件名前面使用 ./,以显式地引用当前工作目录中的文件和应用程序。父目录由两个点号来引用。要遍历到您的当前工作目录的父目录,可以输入下面的命令:
$ cd ..
如果您以前位于 /home/tuser,那么现在就在 /home 中。为了演示第三个特殊目录名称,可以使用快捷方法返回您的 home 目录(波浪符号)。可以输入下面的命令:
$ cd ~
2.4. pwd
要查看当前目录,您可以使用 pwd,它表示打印工作目录 (Print Working Directory)。它可以告诉您现在位于文件系统中的何处,这将帮助您在指定相对路径名称时确定应该使用什么样的名称。请尝试使用这三种特殊目录名称、绝对路径和相对路径,以遍历您的文件系统。在每一步骤中,可以使用 pwd 查看当前位置。
查看当前目录(如果您执行了前面部分中的操作步骤,那么现在应该位于您的 home 目录):
$ pwd
2.5. mkdir、rmdir
mkdir 和 rmdir 分别用来创建和删除目录。rmdir 仅当该目录为空有效(它并不删除文件)。
尝试使用下面的命令: $ mkdir TUTORIAL $ cd TUTORIAL $ pwd $ ls 您现在位于刚刚创建的 TUTORIAL 目录,而且该目录为空。
您还可以使用 ~ 波浪号字符到达该目录。要进入 /home/tuser/TUTORIAL,可以输入: $ cd ~/TUTORIAL
$ pwd
2.6. 目录布局
您已经了解了如何在目录中移动并获取清单,现在可以开始研究典型的 UNIX 分发版中的目录布局了。您可以通过几种不同的方式来组织 UNIX 文件系统。本教程讨论了一些在大多数类 UNIX 分发版中常见的根级目录。当然还有其他一些重要的根级目录,但下面这些是最常见的: /home (or /users)
/etc /bin /sbin /usr /car /tmp /home 用来存放用户目录。例如,tuser 用户位于 /home/tuser。
/etc 是用来存储系统范围设置的目录,包括启动脚本和网络配置文件。该目录中的大多数文件都需要使用 root 用户进行编辑。
/bin 和 /sbin 是用来存储系统可执行文件(比如在本教程中学习的命令)的目录。/sbin 用于存放系统命令,如 shutdown,而 /bin 用于存放用户命令。
应用程序通常安装在 /usr 中。/usr/local/ 中的子目录通常用来包含一些安装的应用程序,而这些应用程序并不属于基本分发版中的一部分。
/var 是用来存放类似日志文件这样的内容的目录,需要不断地对其进行更新和存储。 临时文件存储在 /tmp 中。系统中所有的用户都可以对该目录进行写入,并且在一些系统中,会周期性地删除其中的旧文件。
3. 文件
既然您已经知道了如何使用命令行在文件系统中移动,那么现在可以开始对文件进行处理了。本部分内容将介绍如何创建示例文件、复制文件、删除文件,以及查看和更改基本的文件权限。在像 UNIX 这样的多用户操作系统中,必须了解所有权和权限的概念。
3.1. Touch
首先,创建一个空文件,您将在本教程中使用到该文件。touch 命令可以用来创建一个空文件(对文件使用 touch 命令,通常用来更新文件的修改日期和访问日期)。
返回到用户 home 目录中的 TUTORIAL 目录,并输入下面的命令创建一个文件: $ cd ~/TUTORIAL
$ touch example.txt
3.2. cp
cp 命令用来复制文件。输入 cp 加上需要复制的文件的名称,再加上需要将该文件复制到的目录(您还可以使用相应的选项来指定新文件的名称)。例如,尝试将 example.txt 文件复制到 /tmp/: $ cp example.txt /tmp/
$ ls /tmp/ 您应该可以在 /tmp/ 中看到 example.txt。现在,将 /tmp/ 中的文件复制回您的当前目录,但是为它取一个新的名称: $ cp /tmp/example.txt ./example2.txt
$ ls
请注意,这里使用一个点号来指定需要将这个新文件放到您的当前目录。在本示例中,不需要包括 ./(因为复制操作的缺省路径就是您的当前工作目录),但是它可以清楚地说明您要完成的任务。后面的 ls 命令则显示了在当前工作目录中有两个示例文件。
3.3. mv
移动(move)文件可以使用 mv 命令来完成。对于移动和复制操作来说,大多数语法和命令行选项都是相同的。如果您希望将新文件 example2.txt 移出当前目录并放入到 /tmp/,那么可以输入下面的命令: $ mv example2.txt /tmp/.
请注意,这里再次使用了点号显式地说明您正在进行的操作。
3.4. rm
要对系统进行清理,可以删除在 /tmp/ 中创建的文件。rm 命令用来从文件系统中删除文件。这与将文件移动到回收站或垃圾箱不同,该命令删除了文件指针,所以在使用 rm 命令时应当格外小心。输入以下命令:
$ rm /tmp/example.txt $ rm /tmp/example2.txt $ ls /tmp/
/tmp/ 中的那两个示例文件都应该消失了。
根据您所使用的类 UNIX 操作系统的不同,您还可以使用其他的删除命令,如 srm 或 can。尝试输入 man srm 和 man can 以查看是否存在这些命令。srm 用作安全版本的 rm,它对删除的文件使用随机数据进行覆盖,以防止对其进行恢复。can 在一些方法上与 srm 相反,can 可以保留文件,而将其移动到一个特殊的垃圾箱目录,类似于 Windows 的回收站。
I like golf.
Golf is played on grass. I created gilf.
3.4. 短横线
您是否能够想出更多的方法来完成此任务呢?到目前为止,您仅学习了两个在正则表达式中使用的特殊字符。这只是开始!有些特殊字符在其他特殊字符之内使用。例如,当您将一组字符包括在方括号中时,您可以使用短横线 (-) 来搜索一系列字符。将以下行添加到您的文本文件: What is g2lf? 使用您到目前为止已学到的知识,您知道如果使用类似于 g.lf 或 g[oi2]lf 的正则表达式,则这一行将包括在搜索结果中。使用句点将返回在该位置具有任何字符的结果;使用 [oi2] 将返回仅在该位置具有 o、 i 或 2 的结果。通过使用一个短横线,您可以实现第三种方法,其中不只包括少数字符,但并不是包括每个字符: grep g[a-z]lf 此方法产生以下输出: I like golf. I created gilf. 从输出中可以看到,此方法搜索落在 a 和 z 之间的任何字符(按字母顺序)。这排除了在 g 和 lf 之间具有数字或符号的字符串,这些字符串不是真正的单词,可能不属于您所需的搜索条件。 通过在方括号中包括附加集合,您还可以搜索多个字符序列。例如,若要搜索 a-z 和 A-Z,可以使用以下搜索: grep g[a-zA-Z]lf
3.5. 脱字号 (^)
当您的字符序列列表变得更长时,可能发现通过避免某些字符而不是指定想要查找的字符来进行搜索会更容易。这可以通过在搜索序列前在方括号中使用脱字符 (^) 来实现。这说起来挺复杂的,但是通过观察一个示例,应该是很容易理解的。通过使用以下 grep 命令来更改您的搜索,以避免数字但是包括所有其他字符: grep g[^0-9]lf 此搜索类似于前面查找所有字母字符的搜索,但是此搜索还返回诸如数字符号 (#) 和美元符号 ($) 等不属于字母并且也不在您排除的数字序列中的字符。
3.6. 星号
要试验的下一个特殊字符是星号 (*),它是若干个重复操作符之一。大多数人都非常熟悉在命令行上使用星号作为文件名搜索条件(通配符),但是在正则表达式中使用星号还是相当新鲜的。星号指示搜索项(前一个字符或方括号表达式)可以出现零次、一次或多次。若要对此进行尝试,请将以下行添加到您已经在使用的 grep.txt 文件:
This time the o is missing in glf. Some people might say goolf. But they would not say goilf. 现在整个文件应该类似如下: I like golf.
Golf is played on grass. I created gilf. What is g2lf?
This time the o is missing in glf. Some people might say goolf. But they would not say goilf.
尝试在 golf 中的 o 后面使用星号: grep go*lf grep.txt
您的搜索将返回具有单词 golf、glf 和 goolf 的行: I like golf.
This time the o is missing in glf. Some people might say goolf.
3.7. 问号
另一个重复操作符是问号 (?)。问号的功能与星号类似,只不过搜索项可以出现零次或一次。多个实例将不匹配。使用问号取代星号来尝试您刚才执行的搜索: grep go?lf grep.tx 可以看到,这次作为匹配结果返回了 golf 和 glf,但是没有返回 goolf,因为其中存在问号前的搜索项 o 的多个实例: I like golf. This time the o is missing in glf.
3.8. 加号
最后一个常规重复操作符是加号 (+)。加号将查找某个搜索项出现一次或多次的情况。与星号不同,必须至少找到一个实例才会匹配。请尝试以下示例: grep go+lf grep.txt 这次,该搜索返回 golf 和 goolf,但它不返回 glf,因为没有找到 o: I like golf. Some people might say goolf.
3.9. 行首和行尾定位点
在转向 sed 之前,最后要学习的特殊字符是行首定位点(使用脱字符来实现)和行尾定位点(使用美元符号来实现)。您可能记得,您在本教程的前面使用过脱字符来对方括号表达式取反。当在方括号之外使用脱字符时,它执行完全不同的功能。将脱字符放在正则表
达式开头将告诉该搜索仅操作行的开头。换句话说,正则表达式中的第一个字符(脱字符之后)必须与新行上的第一个字符匹配才能匹配该行。类似地,将美元符号放在正则表达式的结尾以指示您仅希望返回与行尾匹配的结果。换句话说,正则表达式中的最后一个字符(美元符号之前)必须与某行上的最后一个字符匹配才能匹配该行。若要对此进行测试,请将以下两行添加到 grep.txt: golf has been a fine example let's talk about something besides golf 请注意,对于此测试,您不应该对 golf 进行大写或加标点,因为它将演示一个针对同一单词的搜索,此搜索使用定位点在行尾或行首以不同的方式操作。若要测试行首定位点,请输入以下命令: grep ^golf grep.txt 输出应该类似如下: golf has been a fine example 若要测试行尾定位点,请使用同一个搜索,但是删除脱字符并在 golf 之后添加一个美元符号。 grep golf$ grep.txt
使用行尾定位点的输出类似如下: let's talk about something besides golf
3.10. 小结
现在您已经通过在命令行上使用 grep 来学习了正则表达式的基础知识。下一步,您将学习使用 sed,此实用程序不仅搜索文本,而且还对搜索结果进行替换。首先,下面是对您到目前为止已学习过的内容的小结: . 句点表示任何单个字符 [] 方括号包括一个字符序列 - 短横线在字符之间使用以创建一个序列(在 [] 内) ^ 脱字符用于对序列(在 [] 内)取反 * 星号搜索某个搜索项的零个、一个或多个实例 ? 问号搜索某个搜索项的零个或一个实例 + 加号搜索某个搜索项的一个或多个实例 $ 美元符号搜索行尾 ^ 脱字符搜索行首 \\ 特殊字符前的反斜杠使该字符成为普通字符(请参见下一部分。)
4. 使用 sed 来编辑文件
sed 是流编辑器 (stream editor) 的简写。文本编辑器的传统、现代定义是可用于创建和编辑文本文件的交互式应用程序。sed 也是一个文本编辑器,但它是一个命令行实用程序而不是交互式实用程序,从而使之成为一个极其强大的批处理编辑工具。sed 通常在 UNIX Shell 脚本中用于过滤较大的文本文件集。在本教程的第一部分中,您使用了一个讨论 golf 的小型测试文件。为了演示 sed 编辑器的高级功能,您将使用一个很小的代码片段,开发人员可能希望在批处理过程中更改该代码片段。
请将以下文本复制并粘贴到一个名为 sed.txt 的文件中: system \system \
system \system \system \
4.1. 正斜杠
前面解释过的用于 grep 的所有特殊字符在 sed 中也有效。然而,若要使用 sed,您必须了解一些附加语法。sed 中的基本表达式由四个部分组成,各个部分之间用正斜杠 (/) 分隔。以下是用于基本 sed 命令的常见语法: sed s/REGULAREXPRESSION/REPLACEMENTSTRING/flags INPUT_FILE s-搜索和替换 s 指示您希望执行索和替换。正斜杠用于绑定 sed 中的正则表达式。例如,如果您只希望将词条 logfile 替换为 logfile.txt,则可以运行以下命令: sed s/logfile/logfile.txt/ sed.txt 输出应该类似如下: system \ system \ system \ system \ system \ 在此情况下要注意的一个要点在于,sed 不会实际更改 sed.txt 的内容。相反,它将输出发送到标准输出设备。对于这些示例,您将把输出发送到标准输出设备,以便能够立即看到操作结果。 为便于将来参考,可以捕获输出或将其发送到某个新文件。例如,若要将输出发送到 sed_new.txt,可以运行以下命令: sed s/logfile/logfile.txt/ sed.txt > sed_new.txt
4.2. 反斜杠
在学习使用斜杠的同时,还有另一个非常重要的特殊字符需要学习。反斜杠 (\\) 称为转义字符,因为它对正则表达式解释中的下一个字符进行转义。更简单的是,将一个反斜杠放在特殊字符前,将使该字符成为普通项而不是命令项。这非常重要,因为许多文件(尤其是在编写代码的时候)广泛利用了与用于执行正则表达式的字符相同的字符。在您的 sed.txt 文件中,您会注意到美元符号的使用。如果您希望替换 $project 而不替换 project,则需要在搜索和替换中使用转义字符: sed s/\\$project/\\$project_name/ sed.txt 您可以在输出中看到 $project 被更改了,但是 project 没有被更改。 system \ system \ system \
system \ system \ 更改某个项的多个实例 这引入了 sed 中的另一个重要功能。如果您希望同时更改 project 的两个实例,该怎么办呢?通过到目前为止已学到的知识,合理的回答是只需使用 project 作为正则表达式,但是此回答并不是非常正确。下面将继续并进行尝试,以便能够演示和解释该过程: sed s/project/project_name/ sed.txt 在输出中可以看到,project 的第一个实例被更改为 project_name:
system \system \
system \system \system \ 然而,第二个实例未更改,尽管它肯定匹配您的正则表达式。您从第一个示例中知道,sed 似乎更改其输入中的每个匹配字符串,而不是仅更改第一个匹配字符串,因为它更改 logfile 的每个实例。 区别在于,logfile 的每个实例在单独的行上,而同一行上却有两个 project 实例。这为什么非常重要?因为 sed 被实现为一个行编辑器。它一次将一个单独的行放到内存中,并将其作为单个单元来操作。在运行 sed 时务必记住这点,因为所有命令行选项都是按这个设计原则来设计的(从而使大多数 sed 实现不会受到与系统内存有关的文件大小限制)。缺省情况下,每一行都视为 sed 命令的一次新的执行。尽管在第一个示例中似乎不是这样,但是其中 sed 命令仅替换匹配字符串的第一个实例。然而,您可以简单地使用一个 g 标志来改变此行为。
4.3. g 标志
执行同样的 sed 命令,但这次在结尾附加一个 g: sed s/project/project_name/g sed.txt
这次,第一行上的两个 project 实例都被更改为 project_name: system \system \
system \system \system \您可能记得,g 是 global 的简写。
4.4. 运行初步的搜索
sed的另一个强大功能是在搜索和替换操作前运行初步搜索,以确定当前是否在您希望执行命令的行上。这差不多类似于在 sed 中执行 grep。在您的例子中,您可能希望更改 node 变量的日志文件,而不是将它与所有其他输出分组在一起。为此,您需要将字符串 logfile 更改为 logfile_nodes,但是仅在属于节点的行上执行更改。以下命令可以确切完成此任务:
4.3. 删除文本
4.3.1 x删除单字符
如果您希望删除文本,而不是对其进行替换,那么您需要使用 delete 命令。 与 vi 中其他的操作一样,您有多种方法可供选择,这取决于您希望一次删除多少数据。 最基本的 delete 命令是 x 键,它一次删除一个字符。 要尝试使用该命令,可以返回到文本文件的开头,按 Ctrl-u (page-up) 键。 按 $ 键定位到该行的末尾,然后按五次 x 键,以删除 test.。 请参见图 13。
图 13. 要逐个地删除字符,可以使用 x 键
dw删除单字 按五次 x 键可以完成这项任务,但是您可能希望 vi 能够为各种操作提供更简单的方法。 按 d 键和 w 键,您可以一次删除一个单词,这两个键组合在一起表示 delete word。 按三次 b 键,返回到单词 This。 要删除这个单词,按 d 键和 w 键。 请参见图 14。 图 14. 要删除单词,可以使用 dw 命令
4.3.2 d$删除位后整句
现在第一行中包含一个半截的、不完整的句子。 要删除这一行中光标位置之后所有的内容,您可以使用d键加上 $ 键,前面曾经介绍过,后者用来表示到一行末尾的操作。 按 d 键和 $ 键,以便删除该行末尾的 is a。 请参见图 15。 图 15. 要删除光标到一行末尾的文本,可以使用 d$
4.3.3 dd删除一行
vi 中最后一个常用的删除命令是 delete-line 命令,可以按两次 d 键来完成该操作。 它会删除一行文本,并将下面一行内容上移,这样一来,文档中就不会出现空行。 要删除文件中的第一行,可以按 d 键,然后再按一次该键。 请参见图 16。 图 16. 要删除整行文本,可以按 dd
谈到向上移动一行文本,您可以按 J 键以使用 join 命令,该命令将光标所在行的下面一行文本向上移动到光标所在行,而不会删除任何文本。 您的光标应该位于文档的新行(第一行)。 按 J 键将第二行上移至第一行。请参见图 17。 图 17. 要在 vi 中将两行文本合并在一起,可以按 J 键
5. 更好地完成其他操作
现在,您应该已经掌握了在 vi 中创建、导航和编辑文本文件的一些基本技能。 在熟练掌握了这些基本的命令之后,您可以像在其他更加常规的文本编辑器中那样创建和编辑文件。 但是您的指令表中还缺少了一些内容。 本部分内容将向您介绍如何剪切、复制和粘贴。 您可以一次反复地执行命令、再次执行命令、搜索文档、并使用撤销 (undo) 和重做 (redo) 命令。 这个编辑器提供了其他文本编辑器中主要的功能,并且使用了快速访问的键盘命令方式。
5.1. 剪切、复制和粘贴
在 vi 中删除文本的同时,会将这些文本自动地保存到缓冲区中(类似于 Windows 中的剪贴板)。 您已经了解了如何完成剪切命令,可以使用 x、dd、dw 和 d$。 可以使用类似的命令来复制数据,而不删除该数据,在 vi 中,这种操作称为 yank: 按两次 y 键,可以复制整行文本。 按 y 键和 w 键,可以复制一个单词。 按 y 键和 $ 键,可以从当前光标位置开始复制该行文本。 只有了解了如何粘贴数据,对数据进行复制才能真正派上用场。 所以,在测试这些命令之前,您应该学习 paste 命令,可以使用 p 键来执行该命令。 与 vi 中其他的许多命令一样,小写的 p 键将数据粘贴到光标位置之后,而大写的 P 键将数据粘贴到光标位置之前。 要进行复制和粘贴,导航到文本文件的第一行,按两次 y 键。 然后,将光标向下移动到第二行,按一次 p 键。 该操作将第一行的文本复制到了第三行。请参见图 18。 图 18. 要复制一行文本,可以使用 yy 命令,并使用 p 命令进行粘贴
您可以尝试进行剪切和粘贴操作,将光标移动到第二行,按两次 d 键。 然后,按 p 键
将该行文本粘贴到第二行的下面。请参见图 19。
图 19. 要剪切并粘贴一行文本,可以使用 dd 命令和 p 命令
5.2. 在 vi 命令前面加上数字
此时,您可能为如何一次对多块数据执行这些命令而感到困惑。 例如,您可能经常需要复制和粘贴整个段落,而不是单独的行。vi 允许您在使用每个命令时,在它们的前面加上一个数字,这样就会多次执行该命令。 这种用法的功能非常强大,这也是使得 vi 能够成为专业用户手中优秀的编辑器的重要因素之一。 要尝试一次剪切并粘贴两行文本,可以导航到文件的第一行,按 2 键,按两次 d 键,然后按 p 键。 请参见图 20。 图 20. 可以在 dd 命令和 p 命令前面加上 2,一次剪切并粘贴两行文本
在使用 paste 命令多次复制一行文本的过程中,也可以使用相同的概念。 要完成这样的任务,可以先返回到第一行,使用 yy 命令复制该行文本,然后按 10,再按 p 键。 现在将会增加 10 行关于 vi 的评价。 在继续进行其他操作之前,按 5 键,然后按两次 d 键以删除其中一些多余的行。 请参见图 21。
图 21. 在 p 命令前面加上数字 10,可以粘贴多行文本,然后在 dd 前面加上数字 5,删除其中的几行文本
也可以尝试在导航命令的前面加上数字。 例如,按 30 键,然后按 l 键,这样可以将光标向右移动 30 个字符。 按 7 键,然后按 G 键,这样可以将光标移动到文件的第七行。 按 5 键,然后按 w 键,这样可以将光标移动到第五个单词。 在完成了这些实验之后,您可以继续进行下一步操作。
5.3. 再次执行 vi 命令
vi 中另一个非常有用的命令是 .(句号)键。 . 键可以再次执行最后一条命令,这个重要的特性可以让您快速地完成工作。 例如,将光标导航到第一行的单词 cool,然后使用 cw 命令将这个单词更改为 fast。 在输入完单词 fast 后,不要忘记按 Esc 键。 将光标向下移动到另一个 cool 单词,然后按 . 键将这个单词更改为 fast。 您还可以移动到文件中最后两行的单词 line,并使用 . 键替换它们。 请参见图 22。
图 22. 使用句号键再次执行命令,这使得您可以快速地进行文档编辑
5.4. 在 vi 中搜索文本
在 vi 中搜索文本也是非常快速且高效的。 要开始搜索一个字符串,可以按 / 键(斜杠键),再加上希望搜索的字符串,然后按 Enter 键。 要组合使用您的 vi 技能,可以按 / 键,输入 think,按 Enter,然后使用 cw 命令将这个单词更改为 know。 在完成操作之后,不要忘记按 Esc 键。 如果您希望对第二行进行相同的操作,按 n 键以找到下一个 think,然后按 . 键将该单词更改为 know。 ? 键可以像 / 键那样进行搜索,但它将反向而不是正向搜索文档。 在将 think 替换为 know 之后,按 ? 键加上单词 fast 以便进行反向搜索。 请参见图 23 和 24。
图 23. 使用斜杠键加上希望搜索的字符串,可以搜索该字符串
图 24. 使用 ? 键加上希望搜索的字符串,可以反向搜索该字符串
5.5. vi 中的撤销 (undo) 和重做 (redo)
如果在操作中出现了错误,vi 为您提供了撤销和重做机制,以确保可以将文档恢复到正确的状态。 在命令模式中,按 u 键可以执行撤销命令,按 Ctrl-r 可以执行重做命令。 可以尝试撤销和重做操作,如下所示(请参见图 2): 定位到文本文件的第三行,并删除一些行。 按 3 键和 G 键定位到第三行。 按 2 键和 dd 命令以删除两行文本。 糟糕! 不应该进行删除操作,并且您希望恢复这两行文本。 要完成这个任务,可以按 u 键以撤销上一个命令。 如果您又改变了主意,想要删除这两行文本,可以按 Ctrl-r 以重新执行该命令。 图 25. 要撤销一个命令,可以使用 u 键;要重新执行一个命令,可以按 Ctrl-r
6. 总结
最后,让我们看看最后的一个命令序列,以便将您所学的一些命令组合在一起使用(请参见图 26): 要定位到文档的开头,按两次 g 键。 要删除文档中的所有内容(因为其中的内容少于 100 行),可以输入 100 加上 dd 命令。 按 i 键进入到插入模式。 输入 I am done with this tutorial!。 按 Esc 键。
按两次 y 键,输入 100,然后按 p 键。 您现在告诉了计算机 100 次,已经完成了本教程的学习! 很好,现在可以休息一会儿,并喝杯咖啡了。
图 26. 完成了本教程的学习
在学习完本教程之后,您应该具备了使用 vi 创建和编辑文件的知识。 对本教程中列出的命令进行实验,开始使用 vi 作为您日常的文本编辑器以便练习使用这些命令。 开始的时候,速度可能会有所降低,但是很快您将记住这些命令,并了解何时何处该使用它们,vi 可以显著地提高您的工作效率。 本系列中后续的教程将介绍 Shell 的诀窍与技巧。 同时,您应该不断地使用命令行并练习 vi,您将很快会成为一名专业的 UNIX 用户!
UNIX 新手指南,第3部分: 正则表达式
---使用 grep、sed 和 awk
1. 开始之前
了解 UNIX? 过滤器的强大功能。在本教程中,您将深入了解 grep 系列,包括许多 UNIX 实用程序中的正则表达式语法。您还将了解关于流编辑器 sed 的更多信息,并通过示例和解释来研究 awk 模式扫描语言。 开始之前 了解本教程中包含的内容以及如何最好地利用本教程。
1.1. 关于本系列
这个包括四个部分的系列教程从头开始介绍 UNIX?。对于很久没有使用类 UNIX 操作系统的用户来说,这个初始的教程是个很好的温习。对于具有 Windows? 使用经验的新的 UNIX 用户来说,它也很有价值,因为其中参考了 Windows,并将两者进行了比较。第二个教程重点讲述 vi 文本编辑器,该编辑器是功能最强大(也最神秘)的可用 UNIX 实用程序之一。本教程向您讲授有关使用正则表达式的 UNIX 命令行过滤器的知识,包括 grep、sed
和 awk。
1.2. 关于本教程
要发挥 UNIX 命令行过滤器(如 grep、sed 和 awk)背后的强大功能,您需要非常熟悉正则表达式。本教程向新用户讲授其中每个实用程序的功能和如何使用正则表达式来操作文本。您将首先使用一个简单和好玩的 grep 示例,然后继续研究 sed 和 awk 的实际示例。
1.3. 目标
本教程的目标是使 UNIX 和 Linux? 用户习惯于使用这三个可用于快速和高效地搜索和改数据的强大命令行工具。本教程开头将解释许多 UNIX 实用程序(及编程语言)基本框架中使用的正则表达式。随后的各个部分将给出与 grep、sed 和 awk 一起使用的正则表达式的示例。
1.4. 先决条件
对于本教程,您需要对命令行有基本的了解。对于本教程的某些部分,了解如何在 UNIX 中使用 stdin、stdout 和 pipe 来处理输入和输出是有所帮助的。
1.5. 系统要求
在任何运行类 UNIX 操作系统的计算机上拥有您自己的帐户,这是完成本教程所需的要求。类 UNIX 操作系统包括 IBM AIX? 操作系统、Linux?、Berkeley Software Distribution (BSD)、Mac OS? X(通过终端来访问命令行),以及其他许多系统。
2. 正则表达式
正则表达式是一个字符串,旨在用于搜索或替换另一个字符串。初看起来,这似乎是一个相当基本的功能。大多数用户都熟悉几乎每个图形文本编辑器或字处理应用程序中都有的搜索和替换功能。如果将这个基本的搜索和替换功能比作计算器,则正则表达式可比作全功能的计算机。将正则表达式用于搜索条件的强大功能不应被低估。
2.1. 使用正则表达式的过滤器
一些基于 UNIX 的最强大命令行工具使用了正则表达式,包括 grep、sed 和 awk(以及包括 Perl 在内的一些编程语言)。在从基础 UNIX 命令行用户转变为真正的超级用户时,学习如何使用正则表达式是一个必需步骤。存在一些不同版本的正则表达式语法和多个版本的 grep、sed 和 awk,因此本教程将集中于每种实现中都具有的非常标准的最常见构造。不要忘了参考您系统的 man 页,以获得有关语法和命令行选项的细节。
2.2. 基础
在探索使用正则表达式的 UNIX 应用程序之前,了解基础知识是非常重要的。在本部分中,您只需继续往下阅读。稍后您将在 grep 中尝试一些示例。
2.2.1. 基本搜索
正则表达式由一些普通字符和特殊字符组成,其中的特殊字符指示搜索条件。 在大多数基本情况下,正则表达式中也许根本就没有使用特殊字符。例如,如果您只是希望使用词条 golf 作为搜索条件,则可以输入以下命令: golf 这就是一个正则表达式!它搜索单词 golf 的所有实例。正则表达式区分大小写,因此这将搜索 golf 的所有实例,但是不会查找 Golf 的实例。
2.2.2. 使用方括号
若要同时搜索 golf 和 Golf,您可以使用方括号(它们是正则表达式中的特殊字符),并列出一串要搜索的各个字符。这类似于搜索中的搜索(这就是正则表达式背后的神奇之处)。 [Gg]olf 同样的概念也适用于任何字符列表——而不只是用于区分大小写。例如,您可能希望搜索 golf 和 gelf(您虚构的一种新体育运动): g[oe]lf
2.2.3. 句点
现在假设您有第三种体育运动 gilf,您也希望对其进行检查。使用您到目前为止已学到的知识,一种方法是在您的搜索条件中使用 o、e 和 i。但是随着您的搜索的逐步发展,您可能希望查找以 g 开头、以 lf 结尾并且其间具有一个字符的所有字符串。为此,您可以使用另一个特殊字符,即句点 (.)。 g.lf 这将查找以 g 开头和以 lf 结尾并且其间具有一个字符的所有字符串。若要将您的搜索扩展到以 g 开头和以 f 结尾并且其间具有两个字符的所有字符串,您可以使用两个句点: g..f
3. 使用 grep 来搜索文件
现在您已经对正则表达式背后的概念有了基本的了解,您可以开始使用实际的示例,以便能够看到它们的实际运用。您将试验的第一个命令行应用程序是 grep。grep 的名称实际上就来自于正则表达式:g/RE/p。grep 用于在一个或多个文件中搜索特定字符串的实例。
缺省情况下,grep 输出其中出现了您的搜索字符串的每一行(而不是仅输出搜索字符串)。如果您在多个文件中执行搜索,则 grep 还会输出在其中找到该行的文件名。 使用以下文本创建一个名为 grep.txt 的文件: I like golf. Golf is played on grass. I created gilf. grep 的基本语法如下: grep REGULAREXPRESSION FILENAME(S)
3.1. 基本搜索
现在,返回到前面的第一个正则表达式示例:单独的单词 golf。若要与 grep 一起使用这个表达式,可输入: grep golf grep.txt 此命令在 grep.txt 文件中搜索字符串 golf 的所有实例,并输出包含该字符串的行。您的输出应该类似如下: I like golf.
3.2. 使用方括号
下一步,试验一些上面讨论过的特殊字符。您可以使用方括号(方括号表达式)来指示您想要搜索 golf 和 Golf: grep [gG]olf grep.txt 输出应该类似如下: I like golf. Golf is played on grass.
3.3. 句点
若要搜索 golf 和 gilf,您同样可以使用方括号。取而代之的是,可以尝试使用一个句点来指示您想要搜索 g 和 lf 之间的任何字符: $grep g.lf grep.txt 输出应该类似如下: I like golf. I created gilf. 搜索 golf、Golf 和 gilf 您现在已经找到了获得每种 golf 变体的方法,但是还没有哪个搜索返回了所有三个实例:golf、Golf 和 gilf。花点时间考虑一下如何搜索所有三个实例。这可以通过多种方法来实现。下面是两个示例: grep ..lf grep.txt grep [gG][oi]lf grep.txt 这两种方法都返回所有三行:
系统要求
您需要在带有 Bourne 兼容 Shell 环境(例如 bash)的 UNIX 系统上拥有用户级访问权限。这是本教程唯一的系统要求。
Shell 命令执行
学习 Shell 脚本的最佳方法是通过示例。对于您要在脚本中执行的任何命令都可以在命令行上立即尝试,这也是本教程通篇提供大量实践示例的原因所在。例如,echo 命令将一行文本写入到标准输出。(许多 Shell 以内置命令形式提供其自己版本的 echo 命令,包括 IBM AIX? 的 Bourne Shell 实现。如果这也是您的现实情况,那么当您运行 echo 时,实际上正在运行您的 Shell 版本的命令。)
引用
尝试在使用 echo 输出短消息时加引号: $ echo \Hello, world
Shell 引用(无论在命令行还是在脚本中加注)是一种将字符串传递给 Shell 的方法,可以避免对字符串中可能包含的任何特殊元字符产生混淆。当字符串包含一个以上的单词或者段落包含空格字符时使用引用。如果单个字符恰好是 Shell 元字符,并且您想去除它的特殊含义,就可以在两边加上引号,例如,当您要传递一个美元符号 ($) 作为字面上的美元符号字符而不是作为变量名前的特殊元字符时。 在引用的文本内部发生各种扩展。例如,在双引号括起来的文本中,变量被展开为它们的值,而单引号括起来的文本内部引用的变量名则不展开。 有三种重要的引用类型需要了解:
1、通过在前面加反斜杠 (\\) 引用单个字符。这样只会传替字符的字面含义,而非它可能包含的任何特殊含义,比如空格符或 Shell 元字符。例如,使用 \\* 引用一个星号 (*),它是 Shell 元字符。要引用真正的反斜杠字符,可以使用 \\\\。
2、通过在文本字符串两边加双引号 (\来传递扩展的引用。美元符号 ($) 和单引号 (') 字符会保留其自身含义。因此,和其他字符一起在引用中出现的任何变量名都会被它们的值所替代。新行或特定字符 ($`\前的反斜杠被移除,但是引用的字符会被传递。
3、使用单引号 (') 将文本括起来以传递文本字符串的字面引用,所有的变量名、元字符等都作为文字字符,而不它们的含义或值来传递。
请注意在不同的 Shell 中引用的确切规则会有所区别。参考您所使用的特殊 Shell 的 man 页面来了解准确规则。
分配一个变量,然后尝试使用各种引用格式输出该变量,如清单 1 中所示。 清单 1. 使用 echo 演示 Shell 变量引用格式 $ myvar = \$ echo $myvar Hello, world $ echo \
Hello, world $ echo '$myvar' $myvar
$ echo \\$myvar $myvar
$ echo \\'$myvar\\' 'Hello, world' $ echo \'Hello, world' $ echo '\\
$ echo \\\\
注意解释变量的方式取决于所使用的引用格式。
注释
在 Shell 中,以井号 (#) 开始一个注释行。井号及其后面跟随的同一行的所有内容都被忽略。尝试输入几行夹杂注释的文本,如清单 2 中所示: 清单 2. 在 Shell 中使用注释 $ # a comment does nothing
$ echo \Hello, world
$ echo # This will not output
$ echo 'But a hash (#) can be quoted' But a hash (#) can be quoted $ echo \# Even in double quotes $
创建 Shell 脚本
正如您所看到的,您可以直接在命令行测试这些 Shell 编程结构。但是,当您完成了单行命令的学习并且真正开始构建更长的程序时,您需要将程序写入称为脚本的文件。脚本 是一个设置了可执行位的文本文件,并且包含由 Shell 语言命令组成的程序。UNIX Shell是一种解释性语言,这意味着它的程序不经过编译,而是由解释器读取,解释器本身是Shell可执行程序,比如 /bin/sh、/bin/bsh 或 /bin/bash。 Shell 脚本的第一行通常都是相同的: #!/bin/sh
这是 Shell 自己使用的一种特殊注释,用于确定文件的语言或目录。感叹号在 UNIX 和排版术语中常常被称为 bang,后面跟随的路径名告诉 Shell 应该使用来执行该文件的解释器。在本例中是 /bin/sh,它在许多系统中代表 Bourne Shell 可执行程序本身。举例来说,特别
为 Korn Shell 编写的脚本应该以 #!/usr/bin/ksh 开始,正如 Ruby 脚本将以 #!/usr/bin/ruby 开始。安装 bash 之后,/bin/sh 通常是到 bash 二进制程序的符号链接。并且考虑到兼容性,使用 /bin/sh 比使用 /bin/bash 更可取。在一些系统中,比如 IBM AIX 5L?,Bourne Shell 可执行程序的名称是 bsh,并且位于 /usr/bin/bsh。清单 3 提供了 Shell 脚本的简短示例。 清单 3. Shell 脚本示例 #!/bin/sh
# This is a shell script message = \
echo \
按照本系列教程前面文章中的说明,使用 vi 编辑器键入该脚本并保存到名为 myscript 的文件中(请参见参考资料部分)。然后使用 chmod 设置该文件的执行权限,使该文件可以执行:
$ chmod u+x myscript
此命令使该文件只能由您执行。如果希望系统中的所有用户都能执行该文件,那么您还可以为所有用户设置执行权限: $ chmod a+x myscript
现在您可以运行该脚本。给出该文件的名称和相对于当前工作目录的路径,在路径中使用一个点字符 (.) 来表示: $ ./myscript
The message is 'Hello, world!' $
Shell 变量 PATH 包含一组以冒号分隔的目录。它就是您的路径,Shell 总是会“看到”这些目录中的所有文件。UNIX Path 的目的是为了便于运行二进制文件。这就是为什么您只需要键入命令的基本文件名,比如 ls 和 echo,而不用提供它们的完整或相对路径名。如果您将脚本移动到 Path 中的目录,那么只需键入它的名字就可以运行。具体的 Path 取决于您的 UNIX 实现和本地设置,但 Path 中的目录通常包括 /bin、/usr/bin 和 /usr/local/bin。 一些用户对它们的 Shell 进行配置,从而使 PATH 变量包括当前的工作目录,这在 Path 中以点字符 (\表示。如此一来,要在当前目录下运行脚本,只需要键入它的名称,不需要指出相对目录。,Shell 按给定的顺序搜索 Path中的目录,从而避免中木马或发生异常情况,一种极其不明智的做法是把当前工作目录放在 Path 的末尾。
要查看您的 Path,可以使用 echo 显示 PATH 变量的内容,如清单 4 所示。 清单 4. 更改 PATH $ echo $PATH
/usr/local/bin:/usr/bin:/bin:/usr/bin/X11 $ myscript
myscript: command not found $ PATH = $PATH\$ echo $PATH
/usr/local/bin:/usr/bin:/bin:/usr/bin/X11:. $ myscript
The message is 'Hello, world!' $
在解释器名称的后面可以附加特殊选项或标志,比如 /usr/bin/bsh -n,这用于调试目的。连
字符关闭选项,加号则打开选项。特殊的内置环境变量 -(一个连字符)包含当前 Shell 的完整选项列表。
尝试在您当前的交互式 Shell 中设置了哪些选项。通过使用 echo 显示 - 变量的内容来完成这项任务: $ echo $- himBH $
参考您使用的 Shell 的 man 页面来获取当前的标志和选项列表。表 1 提供了 AIX? 上的 Bourne Shell 的常用标志列表,以及对每种标志作用的简要说明。 表 1. AIX Bourne Shell 的常用选项 标志 描述
-a 导出所有已分配值的变量。
-c Variable 执行从变量 中读取的命令。
-e 当命令满足以下条件之一时立即退出:命令退出时返回比 0 大的值;命令不是 while、until 或 if 结构的一部分;命令不经过 AND 或 OR 检测;或者命令不是管道前加感叹号。 -f 禁用所有文件名替换。
-h 定义函数时,定位和记住函数内部调用的所有命令。 -i 指定交互式 Shell。
-k 将所有关键字 都放入命令的环境。 -n 读取命令,但是不执行它们。 -r 调用受限制的 Shell。
-s 从标准输入读取命令,然后将输出写入标准错误(不包括 Shell 内置命令的输出)。 -t 读取并执行单个命令,然后退出。
-u 在脚本中,将所有未定义 变量视为错误。当尝试变量替换时退出。 -v 当读取输入行时将其显示出来。
-x 在执行命令之前显示其完整命令(包括所有的参数和选项)。
Shell 运算和进制转换
Shell 提供大量的基本运算操作,在脚本中非常有用。Shell 对您提供的算术表达式求值,执行运算展开式,此时使用得出的结果替换表达式。以下面的格式提供运算表达式: $(( expression ))
您可以使用 echo 在命令行显示运算展开式的结果,了解其工作情况。现在尝试清单 5 所显示的结果。
清单 5. Bourne Shell 中的运算展开式 $ echo $((10+40)) 50
$ echo $((5*(3+3))) 30
您还可以将展开式分配给变量。尝试清单 6 所显示的结果。 清单 6. 将运算展开式分配给 Shell 变量 $ myvar = 10 $ echo $myvar 10
$ echo $(($myvar-2)) 8
$ myvar = $(($myvar+5)) $ echo $myvar 15
$ result = $(($myvar-10)) $ echo $result 5 $
表 2 列出了在大多数 Bourne 以及与 Bourne 兼容的 Shell中可以使用的运算符。正如上面第二个示例,使用圆括号括起来的语句有更高的优先级。实际上,Shell 算术优先级通常根据 C 语言的规则来确定。
表 2. Shell 条件表达式 运算符 描述 + 加 - 减 * 乘 / 除 % 求余
< 小于(1 代表真,0 代表假)
<= 小于等于(1 代表真,0 代表假) > 大于(1 代表真,0 代表假)
>= 大于等于(1 代表真,0 代表假)
<< 按位向左移位:将给定的整数或第一个表达式向左移动第二个表达式表示的位数 >> 按位向右移位:将给定的整数或第一个表达式向右移动第二个表达式表示的位数
使用 Shell 运算进行进制转换
假定在您的脚本中有一些数字,您需要以另外的进制处理这些数字。使用 Shell 运算可以很容易地自动实现这类转换。一种情况是使用 Shell 运算把一个数字从给定的进制转换位十进制。如果数字以运算展开式的形式提供,那么假定它带有十进制符号,除非它前面带有 0(这种情况假定是八进制)或 0x(这种情况假定是十六进制)。键入以下内容以得到一些八进制和十六进制值的十进制输出:
$ echo $((013)) $ echo $((0xA4))
您还可以使用以下格式指定 2 到 64 之间的任意进制:
$((BASE#NUMBER))
通过在 Shell 提示符后键入清单 7 中所示的行,尝试将二进制、八进制、十六进制以及其他进制的数转换为十进制。
清单 7. 在 Shell 中将任意进制的数以十进制输出
echo $((2#1101010)) echo $((8#377)) echo $((16#D8)) echo $((12#10)) echo $((36#ZZYY))
使用 bc 进行进制转换
在 Shell 中进行进制转换的另一个诀窍是使用 bc,它是一种任意精度运算语言,大多数 UNIX 安装程序都提供。因为它允许您指定输出进制,所以当您需要以十进制以外的进制输出时,这是一种很好的技术。
bc 的特殊变量 ibase 和 obase 分别包含用于输入和输出的进制的值。缺省情况下,都被设置为 10。要执行进制转换,需要改变其中的一个或两个值,然后提供一个数字。立即尝试,如清单 8 中所示。
清单 8. 使用 bc 执行进制转换 $ bc -ql 10 10
obase=16 10 A
ibase=2 10 2
Control-D $
要快速执行进制转换,可以联合使用 bc 和 echo形成快捷的单命令行程序,将给定的值通过管道传输给 bc。键入清单 9 中显示的内容。 清单 9. Shell 单命令行 bc 程序 $ echo 'obase=16; 47' | bc 2F
$ echo 'obase=10; ibase=16; A03' | bc 2563 $
警告:当您设置 bc 的输入进制以后,输入 bc 的所有数字都使用该进制,包括您提供用于设置输出进制的数字。因此最好先设置输出进制,否则可能会产生意想不到的结果,如清单 10 中所示。
清单 10. 设置输入和输出进制的先后顺序的重要性
$ echo 'ibase=16; obase=10; A' | bc
A
$ echo 'ibase=16; obase=A; A' | bc 10 $
内联输入
尽管 echo 通过管道将内容传递给交互式命令(比如 bc)可以生成快捷的单命令行程序,但是它对于多行输入并不适用,比如可能用到实际文件中的内容。但是另外一种有用的方法可以完成这个任务。Shell 有一种工具称为 here documents 或内联输入,这是一种动态构建文件的非常好的方法,比如用于脚本内部,并且将该文件的内容重定向到一个命令。 使用 Shell << 操作符来指定一个 here document,然后在同一行的后面跟上一个限定字符串,该字符串标记输入的结束,并且您可以选择任何文本,只要是不包含空格字符的单个词都可以。其后跟随构成您的输入文件的行,然后以独占一行的限定字符串结束输入,在它的前面或后面不能有任何文本,否则该行将被视为输入的一部分。使用 cat 进行尝试,如清单 11 中所示。
清单 11. 编写 here document $ cat << END
> END of input text > ENDspace
> This is still not the END > ENDING SOON > THE END > END
END of input text END
This is still not the END ENDING SOON THE END $
限定字符串(本例中是 END)可以出现在输入的任何地方,只有当它以独占一行并且不含空格或其他字符的形式出现时,才表示输入的结束。
脚本中的内联输入
在脚本中经常使用内联输入将使用信息输出到标准输出。这通常通过将 here document 发送给 cat 来完成,如清单 12 中的脚本所示。使用 vi 输入该脚本并保存到名为 baseconv 的文件中,并且将该文件设置为可执行文件(请参见创建 Shell 脚本部分)。 清单 12. 使用 here document 提供 Shell 脚本使用信息 #!/bin/sh cat << EOF
baseconv is a program to convert a number from one base to another.
Usage: baseconv [options]
Options:
-i BASE input base -o BASE output base -h display this message
For more information, consult the baseconv man page. EOF
当执行该脚本时,here document 的内容被发送到(使用 cat)标准输出。立即尝试,如清单 13 中所示。
清单 13. 从 here document 输出 Shell 脚本使用信息 $ baseconv
baseconv is a program to convert a number from one base to another.
Usage: baseconv [options]
Options:
-i BASE input base -o BASE output base -h display this message
For more information, consult the baseconv man page. $
此外,Bourne Shell 的大多数实现允许出现使用可选的连字符重定向的内联输入。可选的连字符将所有的前导 Tab 字符从所有输入行的前面去掉,也包括包含限定字符串的行。这对于您希望让编写的脚本保持当前缩进时会有帮助。由于内联输入通常逐字读取,并且限定字符串必须在行的开始处给出,因此输入将打乱您的当前缩进并使脚本看起来不雅观。因此,您可以重写清单 12 中的脚本,使其与清单 14 一致,而输出不会改变。 清单 14. 带前导缩进的 Shell 脚本 here document #!/bin/sh cat <<- EOF baseconv is a program to convert a number from one base to another. Usage: baseconv [options] Options: -i BASE input base
-o BASE output base -h display this message
For more information, consult the baseconv man page. EOF
在命令行使用内联输入
在命令行中,使用调用交互式程序的单命令行程序进行内联输入,比如在使用 bc 进制转换部分讨论的 bc 计算程序。在任意交互式命令中,您可以使用 here document 代替实际文件,或代替任意行的实际输入。尝试使用 here document 将多行输入发送到 bc。键入清单 15 中显示的内容。
清单 15. 将内联输入发送到交互式程序 $ bc << EOF > ibase=16 > A > EOF 10 $
通常使用内联输入来扩展变量。尝试清单 16 中显示的内容。 清单 16. 内联输入如何扩展变量 $ BASECON=16 $ bc << EOF > ibase=16 > $BASECON > EOF 22 $
Subshell 执行
可以在一个名为 subshell 的新 Shell 中执行一个或一组命令,当前 Shell 是 SubShell 的父 Shell。Subshell 继承父亲的环境。I/O 重定向可以出现在子 Shell 和父 Shell 之间,但是 Subshell 永远不能修改父环境。当您为了执行这些命令(比如设置变量)要更改 Shell 的环境,并且不想更改脚本自身运行所在的环境时,这就是您所期望的技术。当您想要同时在后台启动多个长时间运行的进程时也最好使用 Subshell。一个 Shell 可以生成多个 Subshell,而 Subshell 又可以循环生成属于它们自身的任意数量的 Subshell。图 1 说明了这个过程。 图 1. Subshell 如何与它的父 Shell 交互
Shell 有时自动生成自身的 Subshell,比如在管道中使用内置命令时。在 Subshell 中,Shell $ 参数扩展到父Shell 而不是 Subshell 的进程 ID (PID)。
在 Subshell 中运行命令
要在 Subshell 中运行一组命令,可以使用括号将其括起来。您可以使用重定向将输入发送到 Subshell 的标准输入,或将 Subshell 的集合输出发送到文件或管道。 尝试在您的 home 目录键入清单 17 中显示的内容。该示例创建一个 example 目录和一些测试文件,前提是原来不存在 example 目录。 清单 17. 在 Subshell 中创建一组文件 $ pwd
/home/user
$ (mkdir example; cd example; touch A B C) $ pwd
/home/user $ cd example; ls A B C $ pwd
/home/user/example $
在本例中,Shell 生成一个在后台运行的 Subshell,建立 example 目录,然后使用 touch 在该目录中生成三个虚拟文件。同时,Shell 返回 home 目录的命令行。
当您有一组执行时间长的命令时,在命令行和脚本中使用 Subshell 都很方便。为了让 Shell 保持空闲,您可以在后台运行 Subshell,或者在后台运行许多个 Subshell。 ( group-of-long-running-commands ) &
( another-group-of-long-running-commands ) & ( yet-another-group-of-long-running-commands ) &
百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读,免费范文网,提供经典小说综合文库UNIX 新手指南在线全文阅读。
相关推荐: