正規表現の使い方を学ぼう！grep・sed・AWKでの活用例まとめ

2025年8月13日2025年8月14日

こんにちは！

日々のファイル処理で「特定のパターンの文字列を見つけたいのに、どう検索すればいいかわからない…」「複雑な条件でログを抽出したいけど、手作業では限界がある…」と悩んでいませんか？

そんな時に強力な味方になるのが正規表現です！正規表現をマスターすれば、複雑な文字列の検索・抽出・置換が自由自在になります。

今回は、正規表現の基本から実践的な活用方法まで、grep・sed・AWKでの使い方を具体例とともにご紹介します。きっと皆さんの文字列処理が劇的に効率化されるはずです！

マスタリングLinuxシェルスクリプト第2版 Linuxコマンド、bashスクリプト、シェルプログラミング実践入門

created by Rinker

¥3,300 (2025/08/26 22:24:48時点楽天市場調べ-詳細)

Amazon

正規表現で文字列処理が劇的に変わる

手作業での文字列検索に困っていませんか？

日常業務での文字列処理の課題

こんな作業に時間を取られていませんか？

ログファイルからの特定パターン抽出: エラーメッセージやIPアドレスなどの特定形式の情報を探す
複雑な条件での検索: 「数字で始まって英文字で終わる」といった複合的な条件
データの形式チェック: メールアドレスや電話番号の妥当性確認
一括置換処理: 様々なパターンに一致する文字列を統一的に変換

これらを手作業や単純な文字列検索で行うのは、本当に大変ですよね。

正規表現の威力

正規表現を使えば、これらの処理が驚くほど簡単になります！

例えば、ログファイルからIPアドレスだけを抽出する処理：

# 正規表現でIPアドレスパターンを指定
grep -E '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' access.log

手作業なら何時間もかかる作業が、一瞬で完了です。

正規表現とパターンマッチングの威力

正規表現の基本概念

正規表現（Regular Expression）は、文字列のパターンを表現するための記法です。

特徴として：

柔軟なパターン指定: 「数字が3回続く」「英文字の後に数字」などの複雑な条件
効率的な検索: 大量のテキストから目的の文字列を高速抽出
一括処理: 条件に一致するすべての文字列に対して同じ処理を適用
標準化: grep、sed、AWKなど多くのツールで共通利用可能

パターンマッチングの実例

# 基本的なパターンマッチング例

# 数字のみの行を抽出
grep '^[0-9]*$' data.txt

# メールアドレス形式の抽出
grep -E '[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}' contacts.txt

# 日付形式（YYYY-MM-DD）の検索
grep -E '[0-9]{4}-[0-9]{2}-[0-9]{2}' logfile.txt

grep・sed・AWKでの正規表現活用の違い

それぞれのツールの特徴

grep: パターン検索に特化

条件に一致する行を抽出
ファイル横断検索が得意
シンプルで高速

sed: 置換・変換処理が強力

パターンに基づく文字列置換
行の挿入・削除
ストリーム処理

AWK: 複雑な処理と計算が可能

フィールド単位でのパターンマッチング
条件分岐と計算処理
レポート生成

使い分けの指針

# 検索・抽出: grep
grep -E 'ERROR|WARN' application.log

# 置換・変換: sed
sed -E 's/([0-9]{4})-([0-9]{2})-([0-9]{2})/\3\/\2\/\1/g' dates.txt

# 条件処理・計算: AWK
awk '/ERROR/ && /database/ {count++} END {print "DB errors:", count}' log.txt

正規表現の基本をマスターしよう

基本的なメタ文字と特殊記号

重要なメタ文字

正規表現の基本となるメタ文字から覚えましょう：

位置指定:

# ^ : 行の開始
grep '^ERROR' log.txt      # 行頭が"ERROR"で始まる行

# $ : 行の終了
grep 'completed$' log.txt  # 行末が"completed"で終わる行

# \b : 単語境界
grep '\btest\b' file.txt   # "test"という単語のみ（"testing"は除外）

文字指定:

# . : 任意の一文字
grep 'a.c' file.txt        # "abc", "aXc"などにマッチ

# * : 直前の文字が0回以上
grep 'ab*c' file.txt       # "ac", "abc", "abbc"などにマッチ

# + : 直前の文字が1回以上
grep -E 'ab+c' file.txt    # "abc", "abbc"にマッチ（"ac"は除外）

文字クラスの活用

# [文字セット] : 指定文字のいずれか
grep '[aeiou]' file.txt     # 母音を含む行

# [^文字セット] : 指定文字以外
grep '[^0-9]' file.txt      # 数字以外の文字を含む行

# 定義済み文字クラス
grep '[[:digit:]]' file.txt  # 数字を含む行
grep '[[:alpha:]]' file.txt  # アルファベットを含む行

文字クラスと量詞の使い方

量詞による繰り返し指定

# {n} : ちょうどn回
grep -E '[0-9]{3}' file.txt    # 3桁の数字

# {n,} : n回以上
grep -E '[a-z]{5,}' file.txt   # 5文字以上の小文字列

# {n,m} : n回以上m回以下
grep -E '[A-Z]{2,4}' file.txt  # 2〜4文字の大文字列

実用的な文字クラス組み合わせ

# 電話番号パターン
grep -E '[0-9]{3}-[0-9]{4}-[0-9]{4}' contacts.txt

# 郵便番号パターン
grep -E '[0-9]{3}-[0-9]{4}' addresses.txt

# 英数字のパスワードパターン
grep -E '^[a-zA-Z0-9]{8,}$' passwords.txt

グループ化と後方参照の活用

グループ化の基本

# () : グループ化
grep -E '(abc)+' file.txt      # "abc"、"abcabc"などにマッチ

# | : OR演算子
grep -E '(error|warning)' log.txt  # "error"または"warning"を含む行

# ?: : 非貪欲マッチング
grep -E 'a.*?b' file.txt       # 最短マッチ

後方参照の実践例

# sedでの後方参照を使った日付形式変換
sed -E 's/([0-9]{4})-([0-9]{2})-([0-9]{2})/\3\/\2\/\1/g' dates.txt
# 2023-12-25 → 25/12/2023

# 重複文字の検出
grep -E '([a-z])\1' file.txt   # 同じ文字が連続する箇所

# HTMLタグの抽出
grep -E '<([^>]+)>.*</\1>' html_file.txt  # 対応するタグペア

正規表現の基本をもっと深く学びたい方におすすめの書籍があります：

📚 マスタリングLinuxシェルスクリプト第2版

マスタリングLinuxシェルスクリプト第2版 Linuxコマンド、bashスクリプト、シェルプログラミング実践入門

created by Rinker

¥3,300 (2025/08/26 22:24:48時点楽天市場調べ-詳細)

Amazon

この書籍では、grep、sed、AWKでの正規表現活用が実践的な例とともに詳しく解説されています。

grepコマンドでの正規表現活用例

ログファイルからの効率的な検索

基本的なログ検索

grepを使った実践的なログ解析テクニック：

# エラーレベル別の抽出
grep -E '(ERROR|FATAL)' application.log

# 特定時間帯のログ抽出
grep -E '2023-12-25 (09|10|11):' access.log

# IPアドレスでのフィルタリング
grep -E '192\.168\.1\.[0-9]+' access.log

# ステータスコード別抽出
grep -E ' (4[0-9]{2}|5[0-9]{2}) ' access.log  # 4xx, 5xxエラー

複雑な条件での検索

# 複数条件の組み合わせ
grep -E 'ERROR.*database.*timeout' app.log

# 否定条件での検索
grep -v -E '(INFO|DEBUG)' app.log  # INFO、DEBUG以外

# 大文字小文字を無視した検索
grep -iE 'error' log.txt

# 行番号付きで出力
grep -nE '[0-9]{4}-[0-9]{2}-[0-9]{2}' log.txt

複雑な条件での絞り込み検索

高度なパターンマッチング

# ユーザーエージェント解析
grep -E 'Mozilla/[0-9]+\.[0-9]+.*Chrome/[0-9]+' access.log

# SQLインジェクション攻撃の検出
grep -iE "(select|union|insert|update|delete).*from" security.log

# 異常なリクエストサイズの検出
grep -E ' [0-9]{6,} ' access.log  # 100KB以上のリクエスト

# 時間帯別のアクセス解析
grep -E ' (0[0-5]|2[2-3]):[0-9]{2}:[0-9]{2} ' access.log  # 深夜時間帯

パフォーマンス向上のテクニック

# ファイルタイプを指定して高速化
grep -E 'ERROR' --include="*.log" -r /var/log/

# バイナリファイルを除外
grep -E 'pattern' -I -r directory/

# 結果数制限で高速化
grep -E 'ERROR' -m 100 huge_logfile.log  # 最初の100件のみ

複数ファイルでの横断検索テクニック

ファイル横断検索

# 複数ログファイルでの一括検索
grep -E 'ERROR' /var/log/*.log

# 再帰的なディレクトリ検索
grep -rE 'function.*login' /var/www/

# ファイル名も表示
grep -HE 'database.*error' logs/*.log

# マッチした行の前後も表示
grep -A 3 -B 3 -E 'CRITICAL' app.log  # 前後3行も表示

検索結果の整理

# マッチ数のカウント
grep -cE 'ERROR' *.log

# マッチしたファイル名のみ表示
grep -lE 'pattern' *.txt

# 統計情報の取得
grep -E 'ERROR' app.log | wc -l  # エラー数をカウント

sed・AWKでの高度なパターンマッチング

sedでの置換処理と正規表現

基本的な置換パターン

sedを使った実践的な文字列変換：

# 日付形式の統一
sed -E 's/([0-9]{1,2})\/([0-9]{1,2})\/([0-9]{4})/\3-\1-\2/g' dates.txt
# 12/25/2023 → 2023-12-25

# ログの匿名化
sed -E 's/[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}/XXX.XXX.XXX.XXX/g' access.log

# HTMLタグの除去
sed -E 's/<[^>]*>//g' webpage.html

# 複数スペースを単一スペースに統一
sed -E 's/ +/ /g' text_file.txt

条件付き置換処理

# 特定行のみでの置換
sed -E '/ERROR/s/server1/server2/g' config.txt

# 行範囲指定での置換
sed -E '10,20s/old/new/g' file.txt

# パターンマッチした行から次のパターンまで
sed -E '/START/,/END/s/pattern/replacement/g' file.txt

AWKでのパターンマッチングと条件処理

AWKでの正規表現活用

AWKならではの柔軟なパターンマッチング：

# フィールド単位でのパターンマッチング
awk '$1 ~ /^[0-9]+$/ {print "数字ID:", $1}' data.txt

# 複数条件の組み合わせ
awk '$3 ~ /ERROR/ && $4 ~ /database/ {error_count++} END {print error_count}' log.txt

# 正規表現での条件分岐
awk '{
    if ($1 ~ /^admin/) print "管理者:", $0
    else if ($1 ~ /^user/) print "一般ユーザー:", $0
    else print "不明:", $0
}' user_list.txt

高度なテキスト処理

# ログ解析とレポート生成
awk '
    /ERROR/ && /([0-9]{1,3}\.){3}[0-9]{1,3}/ {
        match($0, /([0-9]{1,3}\.){3}[0-9]{1,3}/)
        ip = substr($0, RSTART, RLENGTH)
        error_ips[ip]++
    }
    END {
        for (ip in error_ips) 
            print ip, error_ips[ip]
    }
' access.log

# データの妥当性チェック
awk -F',' '
    NR > 1 {
        if ($2 !~ /^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}$/)
            print "無効なメール:", $2
        if ($3 !~ /^[0-9]{3}-[0-9]{4}-[0-9]{4}$/)
            print "無効な電話番号:", $3
    }
' customer_data.csv

実用的な文字列変換の自動化

データクリーニングの自動化

# CSVデータの正規化
awk -F',' '
    {
        # 電話番号の正規化（ハイフンを統一）
        gsub(/[^0-9]/, "", $3)
        $3 = substr($3,1,3) "-" substr($3,4,4) "-" substr($3,8,4)

        # 名前の正規化（最初の文字を大文字）
        $1 = toupper(substr($1,1,1)) tolower(substr($1,2))

        print $1 "," $2 "," $3
    }
' messy_data.csv

# ログファイルの構造化
sed -E 's/^([0-9]{4}-[0-9]{2}-[0-9]{2}) ([0-9]{2}:[0-9]{2}:[0-9]{2}) \[([A-Z]+)\] (.+)$/\1,\2,\3,\4/' app.log

より高度な正規表現テクニックについて学びたい方は、「マスタリングLinuxシェルスクリプト第2版」が非常に参考になります。実際のシステム運用で使える実践的なパターンマッチング手法が豊富に紹介されています！

マスタリングLinuxシェルスクリプト第2版 Linuxコマンド、bashスクリプト、シェルプログラミング実践入門

created by Rinker

¥3,300 (2025/08/26 22:24:48時点楽天市場調べ-詳細)

Amazon

実際の業務で使える正規表現活用例

IPアドレス・メールアドレス・URL抽出

各種アドレス形式の抽出

実際のビジネスシーンでよく使用するパターン：

# IPアドレスの抽出（基本版）
grep -oE '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' logfile.txt

# IPアドレスの抽出（範囲チェック付き）
grep -oE '(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)' network.log

# メールアドレスの抽出
grep -oE '[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}' contacts.txt

# URL の抽出
grep -oE 'https?://[a-zA-Z0-9.-]+(/[a-zA-Z0-9./_-]*)?(\?[a-zA-Z0-9=&_%+-]*)?' web_logs.txt

抽出データの集計処理

# IPアドレス別アクセス数
grep -oE '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' access.log | sort | uniq -c | sort -nr

# ドメイン別メール数
grep -oE '@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}' emails.txt | sort | uniq -c | sort -nr

# リファラードメインの分析
grep -oE 'https?://[^/]+' referer.log | sed 's/https\?:\/\///' | sort | uniq -c | sort -nr

日付・時刻フォーマットの処理

様々な日付形式の統一

# ISO 8601形式への変換（YYYY-MM-DD HH:MM:SS）
sed -E 's/([0-9]{1,2})\/([0-9]{1,2})\/([0-9]{4}) ([0-9]{1,2}):([0-9]{2}):([0-9]{2})/\3-\1-\2 \4:\5:\6/g' mixed_dates.txt

# 日本語日付の変換
sed -E 's/([0-9]{4})年([0-9]{1,2})月([0-9]{1,2})日/\1-\2-\3/g' japanese_dates.txt

# Unixタイムスタンプの抽出
grep -oE '[0-9]{10}' log_with_timestamps.txt

# 時刻のみの抽出
grep -oE '[0-9]{1,2}:[0-9]{2}:[0-9]{2}' schedule.txt

期間やパターンでの絞り込み

# 営業時間内のログ抽出
grep -E ' (0[9-9]|1[0-7]):[0-9]{2}:[0-9]{2} ' business_logs.txt

# 週末のアクセス抽出（土日）
awk '/^[0-9]{4}-[0-9]{2}-[0-9]{2}/ {
    cmd = "date -d " $1 " +%u"
    cmd | getline day_of_week
    close(cmd)
    if (day_of_week >= 6) print $0
}' access_with_dates.log

# 月末処理の抽出
grep -E '[0-9]{4}-[0-9]{2}-(28|29|30|31)' monthly_reports.log

ログ解析とエラー検出の自動化

セキュリティログの解析

# 不正ログイン試行の検出
grep -E 'Failed.*password.*from ([0-9]{1,3}\.){3}[0-9]{1,3}' /var/log/auth.log | \
awk '{match($0, /([0-9]{1,3}\.){3}[0-9]{1,3}/); ip = substr($0, RSTART, RLENGTH); failed_ips[ip]++} 
     END {for (ip in failed_ips) if (failed_ips[ip] > 5) print ip, failed_ips[ip]}'

# SQL インジェクション攻撃の検出
grep -iE "(union.*select|insert.*values|drop.*table)" web_access.log

# ブルートフォース攻撃の検出
awk '/authentication failure/ {
    match($0, /rhost=([0-9.]+)/, arr)
    if (arr[1]) {
        attacks[arr[1]]++
        timestamps[arr[1]] = $1 " " $2 " " $3
    }
} 
END {
    for (ip in attacks) 
        if (attacks[ip] > 10) 
            print ip, attacks[ip], "attacks, last:", timestamps[ip]
}' /var/log/auth.log

システムエラーの自動検出

# メモリ不足エラーの検出
grep -E 'Out of memory|Cannot allocate memory|Memory allocation failed' /var/log/syslog

# ディスク容量警告の検出
grep -E 'No space left on device|Disk full|Filesystem.*full' /var/log/syslog

# ネットワークエラーの検出
grep -E '(Connection refused|Network unreachable|Timeout).*([0-9]{1,3}\.){3}[0-9]{1,3}' network.log

正規表現スキルをさらに向上させよう

効率的な学習方法とおすすめ書籍

正規表現習得のコツ

今回ご紹介した正規表現のテクニックをさらに深く学びたい方に、効果的な学習方法をお伝えします。

段階的な学習アプローチ:

基本パターンから始める: メタ文字を一つずつ確実に覚える
実際のデータで練習: 本物のログファイルやCSVデータを使用
ツール別の特徴を理解: grep、sed、AWKの得意分野を把握
複雑なパターンに挑戦: 業務の実際の課題に適用

マスタリングLinuxシェルスクリプト第2版について

正規表現を本格的にマスターしたい方に、心からおすすめしたい書籍があります。

「マスタリングLinuxシェルスクリプト第2版」は、正規表現の実践的な活用方法が体系的にまとめられた素晴らしい技術書です。

マスタリングLinuxシェルスクリプト第2版 Linuxコマンド、bashスクリプト、シェルプログラミング実践入門

created by Rinker

¥3,300 (2025/08/26 22:24:48時点楽天市場調べ-詳細)

Amazon

この本で学べる実践的なテクニック

この書籍では、正規表現が各章で実践的に活用されており：

grep での高度な検索: 複雑な条件でのログ解析手法
sed での文字列変換: 実際のデータ処理での置換テクニック
AWK でのパターンマッチング: 条件分岐と組み合わせた高度な処理
実運用での応用例: システム管理での実用的なスクリプト例

他の参考書との違い

この本の特徴は、正規表現を単独で解説するのではなく、実際のシステム運用やデータ処理の文脈で活用方法を示していることです。

特に以下の点で優れています：

実用性重視: そのまま業務で使える実例が豊富
ツール連携: grep、sed、AWKの連携活用方法
トラブルシューティング: よくある正規表現の問題と解決方法

パフォーマンスを考慮した正規表現の書き方

正規表現をマスターしたら、次のステップとしてパフォーマンスの最適化も重要です：

効率的な正規表現のポイント:

先頭固定: 可能な限り ^ で行頭を固定
文字クラスの活用: [0-9] より \d を使用
非貪欲マッチ: 必要に応じて .*? を使用
コンパイル済み表現: 繰り返し使用する場合の最適化

実際の最適化例:

# 非効率な例
grep -E '.*ERROR.*database.*' huge_file.log

# 効率的な例
grep -E '^[^:]*:[^:]*:.*ERROR.*database' huge_file.log

📚 書籍の購入はこちらから：

マスタリングLinuxシェルスクリプト第2版 Linuxコマンド、bashスクリプト、シェルプログラミング実践入門

created by Rinker

¥3,300 (2025/08/26 22:24:48時点楽天市場調べ-詳細)

Amazon

私自身、この本で正規表現の実践的な使い方を習得することができました。特に複雑なログ解析や大量データの処理において、正規表現がいかに強力なツールかを実感しています。

まとめ

今回は、正規表現を使った文字列処理の効率化テクニックをご紹介しました。

正規表現は最初は難しく感じるかもしれませんが、基本パターンから段階的に学習していけば、必ず習得できる技術です。grep、sed、AWKでの活用方法を理解することで、日々の文字列処理作業が劇的に効率化されるはずです。

特に以下の点を意識して取り組んでみてください：

基本から始める: メタ文字を一つずつ確実に覚える
実際のデータで練習: 本物のログファイルで試してみる
ツールの特徴を活かす: grep、sed、AWKの得意分野を理解
段階的にレベルアップ: 簡単なパターンから複雑な条件へ

正規表現をマスターすることで、テキスト処理の可能性が大きく広がります。そして、より本格的なシェルスクリプトやシステム自動化を学びたい方は、ぜひ「マスタリングLinuxシェルスクリプト第2版」を手に取ってみてください。きっと皆さんのスキルアップに役立つはずです！

それでは、効率的なテキスト処理ライフをお送りください！

📚 今回ご紹介した書籍

マスタリングLinuxシェルスクリプト第2版

著者: Mokhtar Ebrahim、Andrew Mallett
監訳: 萬谷暢崇、訳: 原隆文
出版社: オライリー・ジャパン

マスタリングLinuxシェルスクリプト第2版 Linuxコマンド、bashスクリプト、シェルプログラミング実践入門

created by Rinker

¥3,300 (2025/08/26 22:24:48時点楽天市場調べ-詳細)

Amazon

この書籍で、さらに高度な正規表現テクニックを身につけて、文字列処理のエキスパートを目指していきましょう！

よかったらシェアしてね！

URLをコピーしました！

URLをコピーしました！

正規表現の使い方を学ぼう！grep・sed・AWKでの活用例まとめ

正規表現で文字列処理が劇的に変わる

手作業での文字列検索に困っていませんか？

日常業務での文字列処理の課題

正規表現の威力

正規表現とパターンマッチングの威力

正規表現の基本概念

パターンマッチングの実例

grep・sed・AWKでの正規表現活用の違い

それぞれのツールの特徴

使い分けの指針

正規表現の基本をマスターしよう

基本的なメタ文字と特殊記号

重要なメタ文字

文字クラスの活用

文字クラスと量詞の使い方

量詞による繰り返し指定

実用的な文字クラス組み合わせ

グループ化と後方参照の活用

グループ化の基本

後方参照の実践例

grepコマンドでの正規表現活用例

ログファイルからの効率的な検索

基本的なログ検索

複雑な条件での検索

複雑な条件での絞り込み検索

高度なパターンマッチング

パフォーマンス向上のテクニック

複数ファイルでの横断検索テクニック

ファイル横断検索

検索結果の整理

sed・AWKでの高度なパターンマッチング

sedでの置換処理と正規表現

基本的な置換パターン

条件付き置換処理

AWKでのパターンマッチングと条件処理

AWKでの正規表現活用

高度なテキスト処理

実用的な文字列変換の自動化

データクリーニングの自動化

実際の業務で使える正規表現活用例

IPアドレス・メールアドレス・URL抽出

各種アドレス形式の抽出

抽出データの集計処理

日付・時刻フォーマットの処理

様々な日付形式の統一

期間やパターンでの絞り込み

ログ解析とエラー検出の自動化

セキュリティログの解析

システムエラーの自動検出

正規表現スキルをさらに向上させよう

効率的な学習方法とおすすめ書籍

正規表現習得のコツ

マスタリングLinuxシェルスクリプト第2版について

この本で学べる実践的なテクニック

他の参考書との違い

パフォーマンスを考慮した正規表現の書き方

まとめ

関連記事

コメント

コメントする コメントをキャンセル

コメントするコメントをキャンセル