【Git】履歴の機密情報を完全削除する方法｜filter-repoで60秒対応＆インシデントレスポンス完全ガイド

# 過去のcommitから簡単に取れる
$ git log -p
commit abc1234...
+ AWS_SECRET_ACCESS_KEY=wJalrXUtnFEMI/K7MDENG...

# git showでも pickaxe検索でも出る
$ git log -S "AWS_SECRET" --all
$ git log --all -p | grep -E "AKIA[0-9A-Z]{16}"

# GitHubのbotは公開直後〜数秒で収集する

# 0〜20秒：漏洩した機密を即時rotate／revoke
#   AWS   : IAM > セキュリティ認証情報 > 対象アクセスキーを無効化
#   GitHub: Settings > Developer settings > Personal access tokens > Revoke
#   DB    : パスワード変更 / ユーザー再作成
#   SSH鍵 : ~/.ssh/authorized_keys から該当公開鍵を削除
#   JWT署名: 署名キー交換 / すべてのトークンを無効化

# 20〜40秒：漏洩範囲の記録（後の対応に必須）
git log --all -p -S "漏洩した文字列" > /tmp/leak-evidence.txt
# どのSHA・いつ・誰がcommitしたか証跡確保

# 40〜60秒：チームに通知＆これから履歴書き換えをする旨を周知
# Slack：「@here repo X で機密漏洩発覚。rotate完了、履歴書き換え作業に入ります。
#         各自push作業は一時停止してください」

# pip（どのOSでも）
pip install git-filter-repo

# macOS（Homebrew）
brew install git-filter-repo

# Ubuntu 22.04+
sudo apt install git-filter-repo

# Windows（scoop）
scoop install git-filter-repo

# 確認
git filter-repo --version

# ミラークローン（全ref・reflogを含む完全コピー）
git clone --mirror https://github.com/owner/repo.git repo.git
cd repo.git

# オブジェクト数を記録しておくと検証時に便利
git count-objects -v

# 念のためのバックアップ
cd ..
cp -r repo.git repo.git.backup
cd repo.git

# 特定ファイルを全履歴から削除
git filter-repo --path .env --invert-paths

# 複数ファイル／ディレクトリ
git filter-repo \
  --path .env \
  --path config/secrets.yml \
  --path credentials/ \
  --invert-paths

# globパターン
git filter-repo --path-glob "**/*.pem" --invert-paths
git filter-repo --path-glob "**/id_rsa*" --invert-paths

# replacements.txt の書式
# リテラル → 置換
wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY==>***REMOVED***

# 正規表現 → 置換
regex:AKIA[0-9A-Z]{16}==>AKIA****************
regex:ghp_[a-zA-Z0-9]{36}==>ghp_****REMOVED****
regex:(password|passwd|pwd)=[^\s&]+==>\1=***REMOVED***

# glob → 置換
glob:sk_live_*==>***REMOVED***

git filter-repo --replace-text replacements.txt

# コミットメッセージも同時に置換対象
# コミット本文に機密が含まれる場合に有効

# AWS Access Key ID
regex:AKIA[0-9A-Z]{16}==>AKIA_REDACTED_KEY

# AWS Secret Access Key（40文字base64風）
regex:(?i)aws(.{0,20})?(secret|key).{0,20}['\"][0-9a-zA-Z/+=]{40}['\"]==>AWS_SECRET_REDACTED

# GitHub Personal Access Token
regex:ghp_[a-zA-Z0-9]{36}==>GITHUB_PAT_REDACTED
regex:github_pat_[a-zA-Z0-9_]{82}==>GITHUB_FINE_GRAINED_PAT_REDACTED

# Slack Token
regex:xox[pboa]-[0-9]{12}-[0-9]{12}-[a-zA-Z0-9]{24}==>SLACK_TOKEN_REDACTED

# Google API Key
regex:AIza[0-9A-Za-z\-_]{35}==>GOOGLE_API_KEY_REDACTED

# Stripe秘密キー
regex:sk_live_[0-9a-zA-Z]{24,}==>STRIPE_KEY_REDACTED

# 一般的なパスワード記述
regex:(?i)(password|passwd|pwd|secret)[\s]*[:=][\s]*['\"]?[^\s'\"&]+['\"]?==>\1=REDACTED

# PEMプライベートキー（ブロック全体）
literal:-----BEGIN RSA PRIVATE KEY-----==>-----BEGIN RSA PRIVATE KEY BLOCK REMOVED-----

# 大きいblobを確認
git rev-list --objects --all | \
  git cat-file --batch-check="%(objectname) %(objecttype) %(objectsize) %(rest)" | \
  awk '$2 == "blob" {print $3, $4}' | sort -n -r | head -20

# 10MB超のblobを全削除（機密判定は別途実施）
git filter-repo --strip-blobs-bigger-than 10M

# 1MB超
git filter-repo --strip-blobs-bigger-than 1M

# 特定パターンの全履歴検索
git log --all -p -S "漏洩した文字列" | head
# 出力なしならOK

# 全blob内容を検索
git rev-list --objects --all | cut -d' ' -f1 | \
  xargs -I{} sh -c "git cat-file -p {} 2>/dev/null | grep -l AKIA"

# gitleaksで全履歴スキャン
gitleaks detect --source . --verbose

# trufflehogで検証
trufflehog git file://. --only-verified

# ファイル存在確認
git log --all --full-history -- .env
# 空の出力なら完全削除

# reflogを即時無効化
git reflog expire --expire=now --all

# gcで参照されないオブジェクトを物理削除
git gc --prune=now --aggressive

# オブジェクト数が減ったか確認
git count-objects -v

# --mirror push で全ブランチ・タグ・refs/ を一括反映（推奨）
git push --force --mirror origin

# あるいは個別
git push --force origin --all
git push --force origin --tags

# --force-with-lease は --mirror と併用不可のため単純force
# ただし事前に作業凍結して合意を取る

# ==========================================
# 【重要】リポジトリ repo の履歴書き換え完了
# ==========================================
# 
# 概要: 機密情報コミットを履歴から除去
# 時刻: 2026-XX-XX HH:MM
# 
# 各自、以下のいずれかで再同期してください:
# 
# ■ 推奨：再clone
#   cd .. && mv repo repo.old
#   git clone https://github.com/org/repo.git
# 
# ■ 既存を維持する場合:
#   git fetch --prune
#   git checkout main
#   git reset --hard origin/main
#   git reflog expire --expire=now --all
#   git gc --prune=now
# 
# 作業中のブランチは以下を実行:
#   git rebase --onto origin/main 古い分岐元 feature/xxx
# 
# 質問があれば #devops-incident へ

# GitHub Support にキャッシュクリアを依頼
# https://support.github.com/contact
# 
# リクエスト例:
# Subject: Request to purge cache for force-pushed repository
# Body:
#   Repository: github.com/owner/repo
#   Issue: Force-pushed to remove accidentally committed secrets.
#   Request: Please purge cached references and views to prevent
#            retrieval of removed commits.
#   Specific SHAs (optional): abc1234, def5678

# forkが多数ある場合
# → fork元から削除してもforkは残る
# → 各fork所有者に連絡して削除依頼（legal escalation も検討）

# pre-commit フレームワークの導入
pip install pre-commit

# .pre-commit-config.yaml を作成
cat > .pre-commit-config.yaml << "EOF"
repos:
  - repo: https://github.com/gitleaks/gitleaks
    rev: v8.18.0
    hooks:
      - id: gitleaks
        name: Detect hardcoded secrets
  - repo: https://github.com/pre-commit/pre-commit-hooks
    rev: v4.5.0
    hooks:
      - id: detect-private-key
      - id: detect-aws-credentials
      - id: check-added-large-files
        args: [--maxkb=500]
EOF

# チーム全員に適用
pre-commit install
# これ以降commit時に自動スキャンが走る

# .github/workflows/gitleaks.yml
name: Secret Scanning
on:
  push:
    branches: [ main, develop ]
  pull_request:

jobs:
  gitleaks:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
        with:
          fetch-depth: 0
      - uses: gitleaks/gitleaks-action@v2
        env:
          GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}

# 環境変数ファイル
.env
.env.*
!.env.example
!.env.template

# 認証情報
credentials/
secrets/
*.pem
*.key
*.p12
*.pfx
id_rsa*
id_ed25519*

# AWS
.aws/credentials
.aws/config

# GCP
*-service-account.json

# ターミナル履歴
.bash_history
.zsh_history

# セキュリティインシデント報告書

## 概要
- 発生日時: 2026-XX-XX HH:MM
- 発覚日時: 2026-XX-XX HH:MM
- 影響範囲: [Public / Private / 社内限定]
- 漏洩した機密: [AWS IAM Key / DBパスワード / JWT署名キー 等]
- 影響リポジトリ: org/repo
- コミットSHA: abc1234
- コミット者: [名前]

## タイムライン
- T+0分: 漏洩を発覚
- T+2分: 認証情報をrotate完了
- T+10分: チーム通知＋作業凍結
- T+30分: filter-repoで履歴削除完了
- T+45分: force push完了
- T+60分: GitHub Support にキャッシュパージ依頼
- T+2h: 不正使用痕跡のログ監査（AWS CloudTrail等）
- T+1日: GitHub Support からパージ完了通知

## 影響調査
- 漏洩鍵の不正使用痕跡: [あり/なし／調査中]
- 顧客データへの影響: [あり/なし]
- GDPR/PCI-DSS等の報告義務: [該当/非該当]

## 再発防止策
1. pre-commit hookにgitleaks導入（X月Y日まで）
2. CI層で二重スキャン実装
3. GitHub Secret Scanning + Push Protection 有効化
4. .env をすべて Secrets Manager 経由に移行
5. チーム向けに機密管理研修実施

# 0秒：AWS IAMでキー無効化
aws iam update-access-key --access-key-id AKIAXXXXX --status Inactive

# 10秒：バックアップ取得
git clone --mirror https://github.com/org/repo.git repo.git
cd repo.git

# 1分：filter-repo で.env削除＋値置換
git filter-repo --path .env --invert-paths --force

# 2分：検証→force push
git gc --prune=now --aggressive
git push --force --mirror

# 5分：GitHub Support にキャッシュパージ依頼＋CloudTrail監査

# まず全値をrotate（数週間分なので複数キー）

# 履歴から.env完全削除
git filter-repo --path .env --invert-paths

# .gitignoreに追加
echo ".env" >> .gitignore
git add .gitignore
git commit -m "chore: .envをignore"

# force push
git push --force --mirror

# pre-commit導入で再発防止
pre-commit install

# 1. 新しい署名キーを生成
# 2. 全ユーザーのJWTを無効化（DBのtoken_version++等）
# 3. 履歴から署名キー削除
git filter-repo --replace-text jwt-key-replacements.txt
# 4. 全ユーザーに再ログインを案内

# 1. 当該社員のSSH公開鍵を全サーバーのauthorized_keysから削除
# 2. 社員は新しい鍵ペアを生成、公開鍵を再配布
# 3. 履歴から秘密鍵ファイル削除
git filter-repo --path-glob "**/id_rsa*" --invert-paths
git filter-repo --path-glob "**/id_ed25519*" --invert-paths

# 4. ログ監査（SSHログから不正ログイン確認）