gawk
Summary
この付録にはgawk
のコマンドラインと、gawk
言語の要約がある。これ
は"クイックリファレンス"としてデザインされたものである。簡潔ではあるけれど
も抜けはない。
コマンドラインはgawk
自身へのオプションと、awk
プログラムのテキ
スト(`-f'オプションが指定されていない場合)、そしてあらかじめ定義されて
いるawk
の変数、 ARGC
や ARGV
に反映される値からなる。
awk [POSIX or GNU style options] -f source-file [--
] file ... awk [POSIX or GNU style options] [--
] 'program' file ...
gawk
は次のオプションを受け付ける。
-F fs
--field-separator=fs
FS
の値を定義する)。
-f program-file
--file=program-file
awk
プログラムを、コマンドライン上の最初の引数ではなく、
program-fileから読み込む。
-v var=val
--assign=var=val
-W compat
--compat
gawk
特有の拡張機能を無効にする。
-W copyleft
-W copyright
--copyleft
--copyright
-W help
-W usage
--help
--usage
-W lint
--lint
awk
に持っていくときに障害になりそうな記述に関して警告を与える。
-W posix
--posix
gawk
特有の拡張機能を無効にする。また、それ
に加えて制限の適用が行われる。
-W source=program-text
--source=program-text
awk
プログラムのソースコードとしてprogram-textを使う。このオプシ
ョンはコマンドライン上に置かれたソースコードとファイル中のソースコードを
一緒に使うことを許し、特にコマンドライン上のプログラムからライブラリ関数を
使うときに便利である。
-W version
--version
gawk
のバージョン情報をエラー出力に表示する。
このオプションは将来のgawk
ではなくなるだろう。
--
awk
インタプリタではなく)
awk
プログラムに対して、`-'で始まる引数を渡すのに便利である。
これは主に POSIX でのコンベンションの引数解析に関係する。
上記のもの以外のオプションは無効であるが、無視される。
セクション awk
の起動を参照.
awk
プログラムは、パターン・アクションの並びと (省略可能な)関数の定義
から構成される。
pattern { action statements } function name(parameter list) { action statements }
gawk
は最初に、ソースプログラムをコマンドラインで指定されていれば
program-file(s)から、そうでなければオプションでない最初の引数から読み
込む。 `-f'オプションはコマンドラインで複数回使うこともできる。
gawk
はすべてのprogram-fileファイルからプログラムを読み込む(こ
のとき、指定された順番通に行なわれる)。このような動作はawk
関数のライ
ブラリを作成するのに有効であり、新しくawk
プログラムを書くたびにそういっ
たライブラリを直接プログラム中にいちいち書かないで良い。コマンドライン上でタ
イプされたライブラリ関数を使うには、コマンドライン上に`-f /dev/tty'を書
いてそのあとにプログラムをタイプし、 Control-dで終れば良い。
セクション awk
の起動を参照.
環境変数AWKPATH
は`-f'で指定したファイルを探すパスを指定する。
AWKPATH
がセットされていないときには、デフォルトのパスである
`.:/usr/lib/awk:/usr/local/lib/awk'が使われる。
`-f' で指定したファイル名に`/'が含まれていた場合には、パスを使った
サーチは行なわれない。
セクション 環境変数AWKPATH
を参照.
gawk
はプログラムを内部形式にコンパイルし、ARGV
という配列中のファ
イルから読み込みを行なう。もし、ファイルがコマンドラインで指定されていなけれ
ば、gawk
は標準入力から読み込みを行なう。
もしコマンドラインで "ファイル"が`var=val'という形であれ ば、それはvarにvalを代入するという代入式として扱われる。 ARGVの ある要素が空文字列であれば、その要素はスキップされる。
入力の行ごとに、gawk
はawk
プログラム中のパターンとマッチ
するかをテストし、適用すべきアクションを実行する。
awk
の変数は動的であり、最初に使用されるときに作り出される。その値は浮
動小数点数か文字列かのいずれかである。 awk
はまた一次元の配列を持ち、
多次元配列をエミュレートする。 awk
が実行時にあらかじめ決められた値を
セットするようないくつかの変数があるが、それはこのあとで説明する。
行が読み込まれるごとに、gawk
は行をフィールドセパレータとして
FS
の値を使ってフィールドに分割する。 FS
が一つのキャラク
タであれば、フィールドはそのキャラクタで分割される。そうでない場合、
FS
は正規表現であるとみなされる。特殊なケースとして、FS
が一つの
空白であった場合、フィールドは空白とタブの何れか、あるいはその両方で分割され
る。 IGNORECASE
(セクション 大小文字を意識した照合を参照)
の値はFS
が正規表現であるときに、どのようにフィールドが分割
されるかに影響を与える。
入力行のフィールドはそれぞれ、その(入力行中の)位置で参照することができ、
$1
, $2
のように記述する。 $0
は行全体である。フィールドの
値は代入することもできる。フィールド番号は定数でなくてもよい。
n = 5 print $n
これは入力行の5番目のフィールドを出力する。NF
という変数には入力行にあ
るフィールドの数がセットされる。
存在しないフィールド(たとえば$NF
以降のフィールド)への参照は空文字列
が返る。しかしながら、存在しないフィールドへの代入(たとえば$(NF+2) =
5
) は、NF
の値を増加し、新しいNF
と以前のNF
の間にあるフィー
ルドを空文字列をその値として作り出し、フィールドがOFS
の値で区切られて
いるとして $0
の再計算を引き起こす。
セクション 入力ファイルの読み込みを参照.
awk
の組み込み変数は以下の通り。
ARGC
awk
プログラムそのものや、オプションは
数に含まれない)。
ARGIND
ARGV
ARGC
- 1まで。
ARGV
の内容を動的に変更する事によって、データとして使うファイルを制御
することができる。
CONVFMT
FIELDWIDTHS
ENVIRON
HOME
の値は
ENVIRON["HOME"]
とすることで取得できる。その値は`/u/close'といっ
た形式であろう。
この配列を変更しても gawk
がリダイレクションやsystem
関数で起動
したプログラムが参照する環境変数には影響しない。 (これは将来のgawk
で
は変わるかもしれない)
一部のオペレーティングシステムでは環境変数がない。そういったシステムでは
ENVIRON
は実行時には空となる。
ERRNO
getline
やclose
を実行したときに起きたエラーのシステムエラーメッ
セージ。
FILENAME
FNR
FS
IGNORECASE
IGNORECASE
に0でない値が設定されていると、ルールのパターンマッチング、
FS
によるフィールド分割、そして gsub
, index
,
match
, split
, sub
といった関数は全て正規表現オペレーショ
ン時に大小文字を無視する。
NF
NR
OFMT
print
文で数値を出力するときのフォーマット。
デフォルトでは"%.6g"
。
OFS
ORS
RS
RS
は例外的に文字列値の
先頭のキャラクタだけがレコードの分割に使用される。 RS
が空文字列であれ
ば、レコードは空行によって分割される。 RS
が空文字にセットされたとき、
改行キャラクタは FS
に設定されている値に加えて、常にフィールドセパレー
タとして振る舞う。
RSTART
match
でマッチした文字列の先頭の位置。マッチしなかったときには0が入る。
RLENGTH
match
でマッチした文字列の長さ。マッチしなかったときは-1が入る。
SUBSEP
"\034"
である。
セクション 組込み変数を参照.。
配列はブラケット(`[' と `]')に囲まれた式によって添え字付けされる。 配列の添え字は常に文字列であり、数値は必要に応じて以下の変換ルールに 従って文字列に変換される (セクション 文字列と数値の変換を参照).
ブラケットの内側でカンマで区切られた複数の式を使った場合、配列の添字は添字の
区切り(SUBSEP
の値)によって区切られた文字列に変換され、それを内部的な
添字の値とする。
特殊な演算子in
はif
文やwhile
文のなかで配列中に含まれる特
定の値を取り出すために使われる。
if (val in array) print array[val]
配列が多次元の添字を持っていたならば、(i, j, ...) in array
を存在
する要素のテストのために使用する。
in
はfor
ループのなかで、配列要素すべてに対する繰り返しを行なう
ときに使われるだろう。
セクション 配列の全要素の走査を参照.
配列要素はdelete
文を使って配列から削除することができる
セクション awk
における配列を参照.
awk
での式の値は常に数値か、文字列のいずれかである。
特定の文脈(算術演算子のような)では、数値が要求される。このような場合、オペラ ンドは文字列から数値に変換される。このとき数値化できないような文字列であれば 0に変換される。
連接のような文脈では文字列値が要求される。数値データであればsprintf
で
出力したような文字列に変換される。
セクション 文字列と数値の変換を参照.
強制的に文字列データを数値に変換するには、単に0を加えれば良い。ただし、文字 列がすでに数値データである場合には変換動作は行われない。 逆に強制的に数値データを文字列に変換するには、空文字列を連結すれば良い。
awk
言語ではオペランドが両方とも数値であるか、少なくとも一方が数値で、
他方が数値文字列であれば数値として比較を行なうように定義している。そうではな
く、少なくとも一方のオペランドが文字列に変換されていたら文字列同士の比較が行
なわれる。
初期化されていない変数は文字列値""
(空文字列)を持つ。数値が要求され
る文脈では0に等しい。
変数の名前付けと初期化についてはセクション 変数を参照、 変数の値がどのようにインタプリットされるかは セクション 文字列と数値の変換を参照。
アクションは`{' と`}'に囲まれている。アクションかパターンのどち らかを省略する事ができる(もちろん両方を省略するという事はできない)。パター ンが省略されると、全ての入力に対してアクションが実行される。アクション部が省 略されると次に挙げるものと同じ動作を行う。
{ print }
つまり、入力された行をそのまま出力する。
コメントは`#' で始まり、行末まで続く。空行は文の区切りのために使われる
だろう。通常は文の終わりは改行であるけれども、`,', `{',
`?', `:', `&&', `||'が行の最後にきているときにはその限
りではない。また、do
あるいは else
が行末にきている場合、自動的
に次の行以降に対応する文があるとみなされる。別のケースとして、行末に改行を無
視するための`\'がある場合、行が継続しているものとみなされる。
マルチステートメントは同一行上で`;'を使って文を区切る事で使う事ができる ようになる。これはルールのアクション部(通常の場合)ステートメントと、ルール 部のステートメントの両方に適用できる。
awk
コメントについてはセクション awkプログラム中のコメントを参照.に、
awk
の行継続のメカニズムについては
セクション awkの文と行を参照.に
説明されている。
awk
でのパターンは次のうちのいずれか一つである。
/regular expression/ relational expression pattern && pattern pattern || pattern pattern ? pattern : pattern (pattern) ! pattern pattern1, pattern2 BEGIN END
BEGIN
と END
は、入力に対してテストを行わない特殊なパターンであ
る。全てのBEGIN
ルールのアクション部分はあたかも一つのBEGIN
ルー
ルで記述されたかのようにまとめられ、入力を開始する以前にルールの実行が行われ
る。同様に全てのEND
もまとめられて、入力が全て終了したとき(もしくは
exit
文が実行されたときに)ルールの実行が行われる。 BEGIN
と
END
の二つのパターンはもう一方のパターンと一緒にされる事はない。
BEGIN
パターンも END
パターンもアクション部の省略はできない。
`/regular-expression/'というパターンは、各入力行に対して正規表現が
マッチするかどうかを実行する仮想的な文である。正規表現はegrep
の拡
張になっており、以下に挙げられる通りである。
relational expressionは、以下で定義される演算子をアクション中で使うこ とができる。これらは通常あるフィールドとある正規表現がマッチするかをテストす る。
`&&', `||', `!'といった演算子はそれぞれ、 Cと同じ様に論理積、 論理和、論理否定の演算子である。これらの演算子はまた、これもCと同じ様に式の 評価をするときにショートサーキット評価を行う。また、これらの演算子を組み合 わせて式を構成する事もできる。多くの言語でそうであるように、括弧を式の評価 の順序を変更するために使う事ができる。
`?:'という演算子はCでのそれと同じである。最初のパターンにマッチすると、 入力レコードに対して二番目のパターンが適用され、そうでなければ三番目のパタ ーンが適用される。二番目か、三番目のいずれか一つだけが適用される。
`pattern1, pattern2'の様な形式のパターンは範囲指定パターン と呼ばれる。このパターンはpattern1にマッチした行からpattern2にマッ チした行まで(pattern2も含まれる)の全ての行にマッチする。範囲指定パター ンは他のパターンのオペレータとして使用する事はできない。
awk
ルールのパターン部分の完全な記述はセクション パターンを参照。
正規表現はegrep
のものの拡張となっていて、以下に挙げるものがある。
c
\c
.
^
$
[abc...]
[^abc...]
r1|r2
r1r2
r+
r*
r?
(r)
正規表現に関する詳しい説明は セクション パターンとしての正規表現を参照.にある。
エスケープシーケンスは正規表現中に文字列定数を書くのと同じように記述する ことができる(セクション 定数式を参照).
実行文はブレース(`{' と `}')に囲まれている。多くの言語と同じよ うに実行文は通常、代入文、条件文、ループなどからなる。演算子、制御文、入 出力文はCと同じ様に記述できる。
awk
の演算子は優先順位の低いものから並べると次のようになる。
= += -= *= /= %= ^=
var=value
)と代入演算子 (それ以外のもの
)の両方がサポートされている。
?:
expr1 ? expr2 : expr3
の様に
記述される。 expr1が真であれば式の値はexpr2に、そうでなければ
expr3になる。expr2 と expr3のうち、どちらか一つだけが評価
される。
||
&&
~ !~
< <= > >= != ==
blank
+ -
* / %
+ - !
^
++ --
$
ここで例示した演算子の詳しい説明は セクション アクションとしての式を参照.、 フィールド参照演算子の説明は セクション フィールドの検査を参照.
制御文には以下に挙げるものがある。
if (condition) statement [ else statement ] while (condition) statement do statement while (condition) for (expr1; expr2; expr3) statement for (var in array) statement break continue delete array[index] exit [ expression ] { statements }
セクション アクション中の制御文を参照.
入出力文には以下のようなものがある。
getline
$0
にセットする。 NF
, NR
, FNR
が
再設定される。
getline <file
$0
にセットし、NF
が再設定される。
getline var
NF
, FNR
が再設定
される。
getline var <file
next
awk
プログラムの最初のパターンから処理を始める。入力
データがファイルの終端に達したならばEND
ルールが実行される。
next file
FILENAME
は更新され、FNR
に1がセットされる。そ
して、awk
プログラムの最初のパターンから処理が行われる。もし、入力が
もうないのであれば、(定義されていれば)END
ルールが実行される。
print
print expr-list
print expr-list > file
printf fmt, expr-list
printf fmt, expr-list > file
この他の入出力リダイレクションも同様に許される。 print
や
printf
で`>> file'とする事によって出力をfileに追加す
る形でリダイレクトでき、`| command' とすればパイプに対して書き込
みができる。同じようにして、`command | getline'とすれば
getline
での入力をパイプから行うようにできる。 getline
は、ファ
イルの終端に達したときに0を返し、エラーが発生した場合には-1 を返す。
getline
文の説明はセクション getline
を使った入力を参照.
に、 print
とprintf
の説明はセクション 出力を参照.、
next
文の働きはセクション next
文を参照.
printf
のまとめ
awk
のprintf
文とsprintf
文は以下のような書式を受け付け
る。
%c
%d
%i
%e
%f
-
]ddd.dddddd
.
の形式の浮動小数点数値。
%g
%o
%s
%x
%X
%%
以下のものはオプションである。 付け加えられたパラメータは、`%'と制御文字の間に置かれる。
-
width
.prec
widthと precのどちらか、もしくは両方の値を`*'を使って指定す る事ができる。この場合、実際の値は引数リストから取得される。
例と、より詳しい説明は
セクション printf
文を使った Fancier Printingを参照.
入出力のリダイレクトをprint
や printf
を使ってファイルに行った
り、getline
を使ってファイルから入力する際に gawk
はある特殊なファ
イル名を内部的に認識する。これらのファイル名はgawk
を呼出したプロセス
(通常はシェル)から受け継いだファイルディスクリプタをアクセスできる。そして、
そのファイル名には以下のものがある。
以上のものに加えて、次に挙げるファイル名はコマンドライン上でデータファイルの 名前のために使われるだろう。
$1
getuid
システムコールの値。
$2
geteuid
システムコールの値。
$3
getgid
システムコールの値。
$4
getegid
システムコールの値。
getgroups
システムコールが
返すグループIDだろう。
(マルチプルグループは全てのシステムでサポートされてはいない)
これらのファイルの名前はコマンドライン上でデータファイルの名前のように使われ るだろう。その名前はあなたの使うシステムで実際に使用できる名前でなければ単に 内部的に認識されるだけである。 セクション 標準入出力ストリームを参照.。
awk
は以下のような数値演算関数を持っている。
atan2(y, x)
cos(expr)
exp(expr)
int(expr)
log(expr)
rand()
sin(expr)
sqrt(expr)
srand(expr)
awk
は以下に挙げる文字列処理関数を持っている。
gsub(r, s, t)
$0
が使われる。
index(s, t)
length(s)
$0
の長さを返す。
match(s, r)
RSTART
とRLENGTH
にもそれぞれ値がセットされる。
split(s, a, r)
FS
が
区切りとして使用される。
sprintf(fmt, expr-list)
sub(r, s, t)
gsub
と似ているが、最初に一致した部分文字列だけが置き換えられる。
substr(s, i, n)
tolower(str)
toupper(str)
system(cmd-line)
次に挙げる二つの関数は現在の時刻を取得し、整形することができる。
systime()
strftime(format, timestamp)
strftime
が受け付ける変換指定は
セクション タイムスタンプを扱う関数を参照. で詳しく説明
されている。セクション 組込み関数を参照。
awk
での文字列はダブルクォート("
)で囲まれたキャラクタの並びであ
る。文字列中ではCと同じようにエスケープシーケンスを記述する事もできる。
エスケープシーケンスには次のものがある。
\\
\a
\b
\f
\n
\r
\t
\v
\xhex digits
"\x1B"
はASCII
のエスケープキャラクタである。 (この`\x'エスケープシーケンスは POSIX の
awk
にはない)
\ddd
"\033"
はASCIIのエスケープキャラクタとなる。
\c
エスケープシーケンスは固定正規表現中で使う事もできる。例えば
/[ \t\f\n\r\v]/
という正規表現は空白とマッチする。
セクション 定数式を参照.
awk
では関数は次のように定義する。
function name(parameter list) { statements }
関数呼び出し時の実引数は、関数の宣言での仮引数の実体として使われる。配列は 参照渡し、その他の変数は値渡しで引数が渡される。
もし、関数呼び出し時の引数が宣言されている引数の数よりも少なければ、足りな い引数は空文字列で関数に与えられる。そういった引数はローカル変数として扱え る。
関数呼び出しの開き括弧は空白などを置かずに、関数名に続いて書かれなければな らない。これは文法的に連接演算子があるとみなされてしまうのを防ぐためだ。
func
をfunction
の代わりに使う事ができる(ただし、 POSIXの
awk
では使えない)。
関数から値を返すためにreturn
文を使う
セクション ユーザー定義関数を参照.。
次に挙げる二つの機能は、gawk
がサポートしている伝統的な実装の
awk
のものである。第一は、組み込み関数のlength
の呼び出しが、
引数だけでなく括弧も省略して行えるという事である。
a = length
これは、次のものと同じである。
a = length() a = length($0)
この機能は POSIX 標準では良くないものとされている。 gawk
ではコマンド
ライン上で`-W lint'が指定されているときにこの機能が使われると警告を表
示する。
もうひとつは、continue
文をwhile
, for
, do
ルー
プの本体の外で使ったときの動作である。伝統的なawk
の実装で
は、next
文と同等に扱われる。 gawk
では、`-W posix'が指定
されていないときにこの動作をする。