【bat】テキストファイルをソートし重複行を削除する方法完全ガイド｜sort・PowerShell・for /f・CSV列指定・大文字小文字無視まで徹底解説

ログファイルの整理・IP アドレスリストの名寄せ・設定ファイルの重複エントリ除去……。テキストファイルをソートして重複行を削除したい場面は実務で頻繁に発生します。Windows の sort コマンドは重複削除オプションを持たないため、PowerShell や for /f を組み合わせる必要があります。この記事では目的別に最適な方法を体系的に解説します。

1. Windows sort コマンドの基本

まず前提として Windows の sort コマンドでできることを整理します。

@echo off

:: 昇順ソートして別ファイルに出力
sort input.txt > sorted.txt

:: 降順ソート
sort /R input.txt > sorted_desc.txt

:: 上書き保存（/O で入力と同じファイルに出力可能）
sort input.txt /O input.txt

:: 5文字目を基準にソート（日付フィールドなどに便利）
sort /+5 input.txt > sorted.txt

sort コマンドの詳細な使い方（降順・列位置・文字コード対応）は テキストファイルをソートする方法完全ガイド も参照してください。

2. PowerShell でソート＆重複削除（推奨）

重複削除には PowerShell の Sort-Object -Unique が最も簡単・確実です。1行で「ソート＋重複削除＋ファイル保存」を実現できます。

2-1. 基本：ソート＆重複削除

@echo off

:: ソートして重複行を削除（Shift_JIS ファイル）
powershell -Command ^^
    "Get-Content 'input.txt' | Sort-Object -Unique | Set-Content 'output.txt'"

:: UTF-8 ファイルの場合
powershell -Command ^^
    "Get-Content 'input.txt' -Encoding UTF8 | Sort-Object -Unique | Set-Content 'output.txt' -Encoding UTF8"

echo 完了: output.txt

2-2. 大文字小文字を無視して重複削除

@echo off

:: -CaseSensitive をつけない場合、大文字小文字は区別しない（デフォルト）
powershell -Command ^^
    "Get-Content 'input.txt' | Sort-Object -Unique | Set-Content 'output.txt'"

:: 大文字小文字を区別する場合は -CaseSensitive を追加
powershell -Command ^^
    "Get-Content 'input.txt' | Sort-Object -Unique -CaseSensitive | Set-Content 'output.txt'"

2-3. 降順ソートして重複削除

@echo off

:: 降順ソート + 重複削除
powershell -Command ^^
    "Get-Content 'input.txt' | Sort-Object -Unique -Descending | Set-Content 'output.txt'"

2-4. 空行も除去しながら重複削除

@echo off

:: 空行・コメント行(#始まり)を除去してからソート・重複削除
powershell -Command ^^
    "Get-Content 'input.txt' | Where-Object { $_ -ne '' -and $_ -notmatch '^#' } | Sort-Object -Unique | Set-Content 'output.txt'"

:: さらに前後の空白もトリムする
powershell -Command ^^
    "Get-Content 'input.txt' | ForEach-Object { $_.Trim() } | Where-Object { $_ -ne '' } | Sort-Object -Unique | Set-Content 'output.txt'"

3. バッチ単独で重複削除する方法（for /f 前行比較）

PowerShell が使えない環境や、純粋なバッチスクリプトで完結させたい場合はfor /f で前の行と比較しながら重複を除外する方法を使います。ただしソート済みのファイルが前提です（ソートすれば重複が隣接するため）。

@echo off
setlocal enabledelayedexpansion

:: ステップ1: まず sort でソート
sort input.txt > sorted_tmp.txt

:: ステップ2: 前の行と比較しながら重複を除外
set PREV_LINE=
if exist output.txt del output.txt

for /f "usebackq delims=" %%L in ("sorted_tmp.txt") do (
    :: 前の行と同じなら出力しない
    if not "%%L"=="!PREV_LINE!" (
        echo %%L >> output.txt
    )
    set PREV_LINE=%%L
)

del sorted_tmp.txt
echo 重複削除完了: output.txt

3-1. 重複行を数えてレポートする（除去せず集計）

@echo off
setlocal enabledelayedexpansion

:: ソート後に重複行を検出してカウント
sort input.txt > sorted_tmp.txt

set PREV_LINE=
set DUP_COUNT=0
set UNIQ_COUNT=0

for /f "usebackq delims=" %%L in ("sorted_tmp.txt") do (
    if "%%L"=="!PREV_LINE!" (
        set /a DUP_COUNT+=1
    ) else (
        set /a UNIQ_COUNT+=1
    )
    set PREV_LINE=%%L
)

del sorted_tmp.txt
echo ユニーク行数: %UNIQ_COUNT%
echo 重複行数   : %DUP_COUNT%

4. CSV の特定列で重複チェック・削除する

「メールアドレス列が重複する行を除去する」のように、特定の列（フィールド）を基準に重複を判定したい場合は PowerShell が最も適しています。

4-1. 特定列（n列目）を基準に重複削除

@echo off

:: CSV の 2列目（インデックス1）を基準に重複削除（ヘッダー行を保持）
powershell -Command ^^
    "$data = Import-Csv 'input.csv' -Encoding Default;" ^^
    "$unique = $data | Sort-Object -Property 'メールアドレス' -Unique;" ^^
    "$unique | Export-Csv 'output.csv' -NoTypeInformation -Encoding Default"

echo CSV 重複削除完了: output.csv

4-2. PowerShell で複数列の組み合わせを基準に重複削除

@echo off

:: 姓+名の組み合わせが重複する行を削除（姓列・名前列の両方が一致したら重複）
powershell -Command ^^
    "$data = Import-Csv 'input.csv' -Encoding Default;" ^^
    "$unique = $data | Sort-Object -Property @('姓','名前') -Unique;" ^^
    "$unique | Export-Csv 'output.csv' -NoTypeInformation -Encoding Default"

:: ヘッダーなしの CSV（タブ区切り）で1列目を基準に重複削除
powershell -Command ^^
    "Import-Csv 'input.tsv' -Delimiter "`t" -Header @('id','name','dept') |" ^^
    "Sort-Object -Property id -Unique |" ^^
    "Export-Csv 'output.tsv' -Delimiter "`t" -NoTypeInformation"

CSV ファイルの読み込み・列指定処理については CSV ファイルを読み込む方法完全ガイド も参照してください。

5. 応用：条件付き重複削除パターン

5-1. 数値として並べ替えてから重複削除

@echo off

:: 数値としてソート（文字列ソートと結果が異なる）
:: 例: 1, 2, 10, 20 → 文字列ソートでは 1, 10, 2, 20 になる
powershell -Command ^^
    "Get-Content 'numbers.txt' | ForEach-Object { [int]$_ } | Sort-Object -Unique | Set-Content 'output.txt'"

:: IPアドレスを数値的にソート
powershell -Command ^^
    "Get-Content 'ips.txt' | Sort-Object { [version]$_ } -Unique | Set-Content 'output.txt'"

5-2. 特定のパターンを含む行だけ重複削除する

@echo off

:: ERRORを含む行のみ抽出してソート・重複削除
powershell -Command ^^
    "Get-Content 'app.log' | Where-Object { $_ -match 'ERROR' } | Sort-Object -Unique | Set-Content 'errors_unique.txt'"

:: 重複削除後の行数を確認
for /f %%N in ('type errors_unique.txt ^| find /c /v ""') do echo ユニークなエラー: %%N 種類

5-3. 元の順番を保ったまま重複だけ削除する（初出を保持）

@echo off

:: ソートせず、最初に出てきた行だけを残す（出現順を保持）
powershell -Command ^^
    "$seen = @{};" ^^
    "Get-Content 'input.txt' | Where-Object {" ^^
        "$key = $_.ToLower();" ^^
        "if (-not $seen[$key]) { $seen[$key] = $true; $true } else { $false }" ^^
    "} | Set-Content 'output.txt'"

echo 初出保持・重複削除完了: output.txt

6. 実践例3本

実践例1：ログファイルのエラーメッセージを整理する

@echo off
setlocal

:: 複数ログファイルから ERROR 行を抽出・ソート・重複削除して一覧化
set LOGDIR=C:applogs
set OUTPUT=C:workunique_errors.txt

if exist "%OUTPUT%" del "%OUTPUT%"

:: 全ログファイルを結合して一時ファイルに
for %%F in ("%LOGDIR%*.log") do (
    type "%%F" >> all_logs_tmp.txt
)

:: ERROR 行を抽出・ソート・重複削除
powershell -Command ^^
    "Get-Content 'all_logs_tmp.txt' |" ^^
    "Where-Object { $_ -match 'ERROR' } |" ^^
    "ForEach-Object { ($_ -replace '^.*?ERROR', 'ERROR').Trim() } |" ^^
    "Sort-Object -Unique |" ^^
    "Set-Content '%OUTPUT%'"

del all_logs_tmp.txt

:: 結果の件数表示
for /f %%N in ('type "%OUTPUT%" ^| find /c /v ""') do echo ユニークなエラー: %%N 種類
echo 出力先: %OUTPUT%

実践例2：IPアドレスリストの名寄せ（重複除去・数値順ソート）

@echo off

:: 複数ソースから集めた IP アドレスリストを整理
:: input.txt 例:
:: 192.168.1.10
:: 10.0.0.5
:: 192.168.1.10  ← 重複
:: 172.16.0.1

:: 空行・コメントを除去 → IP アドレスとして数値ソート → 重複削除
powershell -Command ^^
    "Get-Content 'input.txt' |" ^^
    "ForEach-Object { $_.Trim() } |" ^^
    "Where-Object { $_ -match '^d{1,3}.d{1,3}.d{1,3}.d{1,3}$' } |" ^^
    "Sort-Object { [version]$_ } -Unique |" ^^
    "Set-Content 'output_ips.txt'"

for /f %%N in ('type output_ips.txt ^| find /c /v ""') do echo ユニーク IP: %%N 件
echo 出力先: output_ips.txt

実践例3：設定ファイルの重複キーを除去する（最後の値を優先）

@echo off

:: 設定ファイル（KEY=VALUE 形式）の重複キーを除去
:: 同じキーが複数ある場合は最後の値を優先する
:: 例:
::   HOST=server01
::   PORT=8080
::   HOST=server02  ← この HOST が優先される

powershell -Command ^^
    "$result = @{};" ^^
    "Get-Content 'config.txt' | ForEach-Object {" ^^
        "if ($_ -match '^([^=]+)=(.*)$') {" ^^
            "$result[$Matches[1].Trim()] = $Matches[2].Trim()" ^^
        "}" ^^
    "};" ^^
    "$result.GetEnumerator() | Sort-Object Key | ForEach-Object { '$($_.Key)=$($_.Value)' } | Set-Content 'config_clean.txt'"

echo 重複キー除去完了: config_clean.txt
type config_clean.txt

テキストファイルの表示・結合・パイプ処理については typeコマンド完全ガイド、ファイルへの書き込みは リダイレクト完全ガイド も参照してください。

7. まとめ：目的別チートシート

FAQ