blog

ソフトウェア開発|awkスクリプトにGroovyを注入する

awk と Groovy はお互いを補い合い、パワフルで便利なスクリプトを作ります。...

Oct 24, 2025 · 11 min. read
シェア

awk と Groovy は強力で便利なスクリプトを作成するために互いに補完し合っています。

このスタンドアローン・フレームワークは、awkがどのように動くかをよく思い出させてくれます。awkをよく知らない人は、この電子書籍で勉強してください：

私の小さな会社が最初の「本物の」コンピュータを購入し、System V Unixを走らせるようになった1984年以来、私はawkをよく使っています。配列を数値ではなく文字列でインデックスされたものとして扱うことができます。データを扱うために作られたような正規表現が組み込まれていて、特にデータの列を扱うときには、コンパクトで学びやすい。最後に、標準入力やファイルからデータを読み込んで出力に書き出すようなUnixワークフローでの使用に適しています。

awk は私の日常的なコンピューティングツールボックスの重要な一部と言っても過言ではありません。しかし、awk を使っていて困ったことがいくつかあります。

おそらく主な問題は、awk は区切りフィールドで表示されるデータを扱うのは得意なのですが、フィールドを引用符で囲むとカンマ区切りが埋め込まれてしまう CSV ファイルを扱うのが妙に苦手だということでしょう。また、正規表現は awk の発明以来大きく進化しており、正規表現の構文規則を 2 セット覚える必要があるのは、バグのないコードを書くためには不都合です。そのような規則が 1 セットあるだけでも十分悪いことです。

awk は簡潔な言語なので、豊富な基本型や構造体、switch 文など、私が便利だと思うものの多くが欠けています。

対照的に、Groovyには、CSVファイルを扱うのが得意な OpenCSVライブラリへのアクセス、Java正規表現と強力なマッチング演算子、豊富な基本型セット、クラス、switch文など、これらすべての機能があります。

Groovyに欠けているのは、処理されるデータを受信ストリームとして、処理されたデータを送信ストリームとしてという単純なパイプライン指向の概念です。

JavaとGroovyのインストール

JavaとGroovyの最新の適切なバージョンは、Linuxディストリビューションのリポジトリにあるかもしれません。Groovyは、 OpenCSV 指示に従ってインストールすることもできます。Groovyは、Groovyホームページの指示に従ってインストールすることもできます。Linuxユーザーにとって良い選択肢は、複数のバージョンのJava、Groovy、および他の多くの関連ツールを入手するために使用できる SDKManです。この記事では、SDKバージョンを使用します：

  • Groovy: 3.0.8

Groovyでawkを作る

ここでの基本的な考え方は、処理のために1つまたは複数のファイルを開き、各行をフィールドに分割し、データストリームへのアクセスを提供するという複雑さを、3つの部分にカプセル化することです：

  • データを扱うとき
  • データの各行を処理するとき
  • すべてのデータを処理した後
  • コマンドラインでコードを書く代わりにスクリプトファイルを使用します。
  • 1つ以上の入力ファイルの処理
  • デフォルトの区切り文字を , に設定し、この区切り文字に基づいてすべての行を分割します。
  • OpenCSVを使ったセグメンテーションの完了

フレームワーククラス

Groovyクラスで実装した "awkエンジン "を示します：

  1. @Grab('com.opencsv:opencsv:5.6')
  2. import com.opencsv.CSVReader
  3. public class AwkEngine {
  4.  // With admiration and respect for
  5.  // Alfred Aho
  6.  // Peter Weinberger
  7.  // Brian Kernighan
  8.  // Thank you for the enormous value
  9.  // brought my job by the awk
  10.  // programming language
  11.  Closure onBegin
  12.  Closure onEachLine
  13.  Closure onEnd
  14.  private String fieldSeparator
  15.  private boolean isFirstLineHeader
  16.  private ArrayList<String> fileNameList
  17.  public AwkEngine(args) {
  18.  this.fileNameList = args
  19.  this.fieldSeparator = "|"
  20.  this.isFirstLineHeader = false
  21.  public AwkEngine(args, fieldSeparator) {
  22.  this.fileNameList = args
  23.  this.fieldSeparator = fieldSeparator
  24.  this.isFirstLineHeader = false
  25.  public AwkEngine(args, fieldSeparator, isFirstLineHeader) {
  26.  this.fileNameList = args
  27.  this.fieldSeparator = fieldSeparator
  28.  this.isFirstLineHeader = isFirstLineHeader
  29.  public void go() {
  30.  this.onBegin()
  31.  int recordNumber = 0
  32.  fileNameList.each { fileName ->
  33.  int fileRecordNumber = 0
  34.  new File(fileName).withReader { reader ->
  35.  def csvReader = new CSVReader(reader,
  36.  this.fieldSeparator.charAt(0))
  37.  if (isFirstLineHeader) {
  38.  def csvFieldNames = csvReader.readNext() as
  39.  ArrayList<String>
  40.  csvReader.each { fieldsByNumber ->
  41.  def fieldsByName = csvFieldNames.
  42.  withIndex().
  43.  collectEntries { name, index ->
  44.  [name, fieldsByNumber[index]]
  45.  this.onEachLine(fieldsByName,
  46.  recordNumber, fileName,
  47.  fileRecordNumber)
  48.  recordNumber++
  49.  fileRecordNumber++
  50.  } else {
  51.  csvReader.each { fieldsByNumber ->
  52.  this.onEachLine(fieldsByNumber,
  53.  recordNumber, fileName,
  54.  fileRecordNumber)
  55.  recordNumber++
  56.  fileRecordNumber++
  57.  this.onEnd()

かなりのコード量に見えますが、長すぎるため改行している行が多いのです。一行ずつ見ていきましょう。

1行目は@Grabアノテーションを使用して、 Groovy 5.6週目のOpenCSVライブラリをフェッチします。XMLは必要ありません。

2行目でOpenCSVの CSVReader クラスを紹介しています。

3行目では、Javaと同じように、パブリック・ユーティリティ・クラス AwkEngine宣言しています。

11～13行目では、スクリプトがクラスのフックとして使用するGroovyクロージャのインスタンスを定義しています。他のGroovyクラスと同様に、これらは「デフォルトでpublic」ですが、Groovyはこれらのフィールドをprivateとして作成し、外部から参照します。これについては、以下のサンプルスクリプトで詳しく説明します。

14-16行目では、プライベート・フィールド、フィールド・セパレーター、ファイルの最初の行がタイトルであるかどうかを示すフラグ、ファイル名のリストを宣言しています。

17～31行目では3つのコンストラクターを定義しています。1つ目はコマンドライン引数を受け取ります。2番目はフィールド区切り文字を受け取ります。3番目は最初の行が見出しかどうかを示すフラグを受け取ります。

31行目から67行目では、エンジンそのもの、go()メソッドを定義しています。

33行目は onBegin() クロージャを呼び出します。

34行目はストリームの recordNumber0に初期化します。

35～65行目では、each {}を使ってリスト内のファイルをループしています。

36行目はファイルの fileRecordNumber0に初期化します。

37～64行目でファイルに対応する Reader インスタンスを取得し、処理します。

38-39行目で CSVReader インスタンスを取得します。

40行目は最初の行が見出しかどうかを検出します。

最初の行がタイトルの場合、フィールドのタイトル名のリストは最初の行から41-42行目で取得されます。

43～54行目は他の行を処理します。

44～48行目は、フィールドの値を name:value マッピングにコピーします。

49～51行目でonEachLine()クロージャーを呼び出し、name:valueのマッピング、処理された行の総数、ファイル名、そのファイルで処理された行数を渡します。

52行目から53行目は、そのファイルの総処理行数と処理行数のインクリメントです。

最初の行がタイトルでない場合

56行目から62行目までは、それぞれの行を扱います。

onEachLine() 渡されるパラメータは、フィールド値の配列、処理された行数の合計、ファイル名、ファイル内で処理された行数です。

60行目から61行目は、処理された行数の合計と、そのファイルの処理行数の増分です。

66行目は onEnd() クロージャを呼び出しています。

これがフレームワークです。これでコンパイルできます：

  1. $ groovyc AwkEngine.groovy

釈義を少し：

渡された引数がファイルでない場合、コンパイルは次のような標準的なGroovyスタック・トレースで失敗します：

  1. Caught: java.io.FileNotFoundException: not-a-file (No such file or directory)
  2. java.io.FileNotFoundException: not-a-file (No such file or directory)
  3. at AwkEngine$_go_closure1.doCall(AwkEngine.groovy:46)

OpenCSVはString[]値を返すことがありますが、これはGroovyのList値ほど便利ではありません。41～42行目でヘッダーフィールド値の配列をリストに変換しているので、57行目のfieldsByNumberもリストに変換する必要があるでしょう。

スクリプトにこのフレームワークを使用します。

コロンで区切られ、タイトルのない /etc/group ようなファイルを処理するAwkEngineを使った簡単なスクリプトを紹介します：

  1. def ae = new AwkEngine(args, ':')
  2. int lineCount = 0
  3. ae.onBegin = {
  4.   println "in begin”
  5. ae.onEachLine = { fields, recordNumber, fileName, fileRecordNumber ->
  6.   if (lineCount < 10)
  7.     println 「ファイル名$fileName fields $fields”
  8.     lineCount++
  9. ae.onEnd = {
  10.    println 「最後に”
  11.    println  $lineCount line(s) read”
  12. ae.go()

行目 2つの引数で呼び出されるコンストラクタには、引数のリストが渡され、セパレータとしてコロンが定義されます。

2行目では、処理された行数を記録するスクリプトレベル変数 lineCount を定義しています。

3-5行目は onBegin() クロージャを定義し、"in begin "という文字列を標準出力に表示します。

6～10行目でonEachLine()クロージャを定義し、ファイル名と最初の10行のフィールドを表示し、最初の10行かどうかに関係なく、処理された行の総数をインクリメントします。

11～14行目でonEnd()クロージャを定義し、"in end "文字列と処理された行の総数を表示します。

15行目は AwkEngineスクリプトを実行します。

以下のようなスクリプトを実行してください：

  1. $ groovy Test1Awk.groovy /etc/group
  2. in begin
  3. fileName /etc/group fields [root, x, 0, ]
  4. fileName /etc/group fields [daemon, x, 1, ]
  5. fileName /etc/group fields [bin, x, 2, ]
  6. fileName /etc/group fields [sys, x, 3, ]
  7. fileName /etc/group fields [adm, x, 4, syslog,clh]
  8. fileName /etc/group fields [tty, x, 5, ]
  9. fileName /etc/group fields [disk, x, 6, ]
  10. fileName /etc/group fields [lp, x, 7, ]
  11. fileName /etc/group fields [mail, x, 8, ]
  12. fileName /etc/group fields [news, x, 9, ]
  13. 78 line(s) read

もちろん、フレームワークのクラスをコンパイルすることで生成された.classファイルは、正しく動作するためにクラスパスに存在する必要があります。通常はこれらのクラスファイルをjarにパッケージできます。

私はGroovyの振る舞いの委譲のサポートがとても好きです。ラムダはこの問題を解決するために長い道のりを歩んできましたが、それでもスコープ外の非終端変数を参照することはできません。

もうひとつ、もっと面白いスクリプトを紹介しましょう。これは私が awk を使うときの典型的な方法を彷彿とさせるものです：

  1. def ae = new AwkEngine(args, ';', true)
  2. ae.onBegin = {
  3.    // nothing to do here
  4. def regionCount = [:]
  5. ae.onEachLine = { fields, recordNumber, fileName, fileRecordNumber ->
  6.    regionCount[fields.REGION] =
  7.    (regionCount.containsKey(fields.REGION) ?
  8.    regionCount[fields.REGION] : 0) +
  9.   (fields.PERSONAS as Integer)
  10. ae.onEnd = {
  11.    regionCount.each { region, population ->
  12.    println 地域$region population $population”
  13. ae.go()

最初の行は3つの関数のコンストラクタを呼び出し、これが "本物のCSV "ファイルであることを示すtrue、そして最初の行はタイトルです。スペイン語のファイルなので、数字のドットはカンマで、標準のセパレータはセミコロンです。

2-4行目では onBegin() クロージャを定義していますが、ここでは何もしません。

5行目では、String型のキーとInteger型の値を持つLinkedHashmapを定義しています。データファイルは最新のチリの国勢調査によるもので、このスクリプトではチリの各地域の人口を計算します。

7行目から10行目はregionCountマッピングのカウントアップで、keyはREGIONフィールドの値、valueはPERSONASフィールドの値です。awkとは異なり、Groovyでは代入操作の右辺に存在しないマッピングを使用することはできず、NULLやゼロの値を得ることはできないことに注意してください。

12行目から16行目にかけて、各地域の人数を印刷してください。

17行目はスクリプトを実行し、 AwkEngine.

以下のようなスクリプトを実行してください：

  1. $ groovy Test2Awk.groovy ~/Downloads/Censo2017/ManzanaEntidad_CSV/Censo*csv
  2. Region 1 population 
  3. Region 2 population 
  4. Region 3 population 
  5. Region 4 population 
  6. Region 5 population 
  7. Region 6 population 
  8. Region 7 population 
  9. Region 8 population 
  10. Region 16 population 
  11. Region 9 population 
  12. Region 10 population 
  13. Region 11 population 
  14. Region 12 population 
  15. Region 13 population 
  16. Region 14 population 
  17. Region 15 population

以上です。awkは好きだけどもっと何か欲しいという方には、このGroovyのアプローチを楽しんでいただければと思います。

Read next

ソフトウェア開発|完璧な人生: git rebase-i

あなたが一度に完璧なコードを書いているようにみんなに感じさせることができ、パッチのレビューやマージが容易になります。

Oct 24, 2025 · 4 min read

共有｜HydraPaper: マルチモニター対応のLinux用壁紙マネージャー

Oct 24, 2025 · 2 min read

Hardcore Watch｜ハードコアウォッチ #495 オープンソースの2D描画ソフト「Krita 5.0」リリース

Oct 24, 2025 · 2 min read

Hardcore Watch|Hardcore Watch #498 Linus Torvaldsの1994年基調講演の録音が発見される

Oct 24, 2025 · 2 min read

Technology|pipx：仮想環境でPythonアプリケーションを実行する

Oct 24, 2025 · 4 min read

テクノロジー|インターネット接続なしでUbuntuをオフラインアップデートする方法

Oct 24, 2025 · 3 min read