AIエージェントを隔離して評価するizanagi-tempestで、現在詰めているのは、監視プロセスが異常終了した後の資源回収である。実行対象を停止できても、親と監視側が同じ資源を同時に削除したり、後片付けの失敗によって最初の故障が記録から消えたりすると、隔離と評価の両方に問題が残る。
監視側が死んだときの引継ぎや、後片付け自体が失敗したときの扱いをどう設計するか。調べてみると、障害検知やcrash-only設計、回復処理への故障注入の研究で、似た問題が扱われていた。containerdにも監督プロセスの死亡後にcleanupする経路がある。今回は、開発中に困っていることと、調べて参考になった考え方を整理しておく。
この記事は2026年11月15日22時21分(JST)までに確認した開発報告と、固定コミットのコード・設計資料に基づく。掲載する検証結果はその記録によるもので、執筆のためにroot故障注入や実モデル比較を実施したものではない。
背景と調査対象
以前紹介したIzanagiは、開発用コマンドを隔離して動かす基盤である。izanagi-tempestは、そこへローカルAWSシミュレータのLWSと評価シナリオを組み合わせる。目標は、モデルが何を発見したかだけでなく、どの権限で何を実行し、どの証拠を残したかまで比較できる実験環境を作ることにある。
現在のIssue #36は、subscription認証を使うモデル側、MCP側、IPCを制御する側を分離して実行する課題を扱っている。本稿で取り上げるLinuxプローブは、その前提を固定したダミープロセスで確かめる段階にある。本物の認証情報やモデルを入れた比較実験の成功とは区別する。
調査したmainは5befb609、回収処理の開発版はefa9159dである。後者は調査時点でmainへ未マージだった。以下の実装説明は、主にこの開発版の回収設計、watchdog、runtimeに対応する。
問題を次の三つに絞る。
- guardianが応答しないとき、親は何を根拠に回収を引き継げるか。
- 引き継いだ回収が、別の実行世代の資源や既に完了した処理へ触れないことをどう確認するか。
- 最初の故障と、その後の回収失敗を、評価に使える形で残せるか。
故障モデル:止まっていることと死んだこと
ここでは、実行を進める親プロセス、親を監視するguardian、実行対象であるpayloadを区別する。guardianは親が停止した場合などの回収を担うが、そのguardian自身も終了し得る。
| 観測 | 分かること | それだけでは分からないこと |
|---|---|---|
| 応答のtimeout | 期限内に応答を受け取れなかった | guardianが死亡したか |
| control/status pipeの異常 | 通信経路が正常でない | 資源の所有者が消えたか |
guardianへのSIGSTOP | 実行が一時停止している | 再開しないこと、死亡したこと |
| 保持したpidfdで終了を確認 | 対象プロセスが終了した | cgroupや作業領域が回収済みか |
waitpidで終了状態を回収 | 直接子の終了状態を取得した | 孫プロセスや残留資源も消えたか |
この区別にはOSの機能を使える。pidfd_open(2)で得た参照は、数値PIDを後から引き直すよりも対象を保持しやすく、pollによる終了観測にも使える。ただし、pidfdを得る前の窓や、終了状態を別の場所で回収してしまう競合まで自動的に解決するわけではない。
資源の範囲も別に確認する。Linuxのcgroup.killは子孫cgroupを含むプロセスの停止を扱い、同時のforkやmigrationも考慮する。しかし、その呼び出しだけを「後片付け完了」の証明にはしない。対象が空になったこと、直接子のreap、実行用ディレクトリの最終状態まで確認する必要がある。
本稿の前提は、カーネルと親・guardianの制御コードを信頼し、プロセス停止、通信の欠落、部分的な状態通知、回収中のI/O失敗を扱うことである。カーネル侵害、悪意あるホスト管理者、ホスト全体の停止からの自動復旧は保証の対象に含めない。
回収を「権限の移譲」として扱う
親が勝手に通常処理へ戻らない
開発版では、通常のcgroup操作を行うGroupと、異常終了後の回収専用型RecoveryGroupを分けている。guardianとの初期ACKと、保持したdirectory FDのdevice/inodeを照合した後に、回収用の参照を作る。固定パスにディレクトリがあるという理由だけで、自分の資源として採用する経路は作らない。
親側の回収では、世代間の競合を防ぐserialization guardを保持し、guardianの死亡とreapを確認する。そのうえで、通常のheartbeatとGroup操作を再許可せず、専用経路だけを使う。
条件を説明用に要約すると、次のようになる。これは実装を完全に記述した形式仕様ではない。
親による回収開始条件 =
serialization guardを保持
∧ 自所有の資源identityを保持
∧ 引継ぎ可能なownership状態
∧ guardianの死亡を確認
∧ guardianのreapを確認
∧ 通常操作を禁止
目的は、同じ実行世代の資源を変更する主体が競合しないことにある。timeoutからこの条件を推測してはいけない。SIGSTOPされたguardianが後で再開するなら、親が先に回収を始めることで二つの主体が同じ資源へ触れる可能性がある。
コマンドを送った事実と、対応する完了通知
guardianへコマンドを送る経路でも順序が重要になる。開発版は1 byteのwriteに成功してからCommandSentへ進む。送れなかったのに「送信済み」として扱うと、どちらが後片付けを担当するか曖昧になる。
完了通知は、単にreleasedまたはrecoveredという文字があればよいわけではない。送信に成功したコマンドと、通知の理由・発火理由・遷移を対応させる。
| 送信したコマンド | reason | trigger | transition | owner_dead |
|---|---|---|---|---|
D:通常終了の通知 | explicit_done | explicit_done | released | false |
R:回収の委譲 | relinquish | relinquish | recovered | false |
この対応はrecord_statusで検証する。死亡後にpipeへ残った通知を読み取る場合も、同じ条件を使う。
完了の証拠を得た後は、確認だけを行う
有効な完了通知を一度受け取った後、さらに不正な通知や途中で切れたデータが届く場合がある。現設計では、既に得た完了の証拠を保持し、通常操作や回収権限を復活させない。資源の最終不在とプロセス記録を検証するだけの経路へ進む。
flowchart TD
A["親の通常処理を終了・禁止"] --> B{"guard・identity・ownership・死亡・reapの条件を満たすか"}
B -->|いいえ| C["親による引継ぎ回収を開始しない"]
B -->|はい| D{"有効な完了通知を保持しているか"}
D -->|はい| E["資源を変更せず最終状態を検証"]
D -->|いいえ| F["RecoveryGroupで自所有資源を回収"]
E --> G["死亡・reap・資源不在の結果を記録"]
F --> G
これは、曖昧な通知から再び削除権限を作らないための方針である。その代わり、完了通知があるのに資源が残っていた場合は、勝手に追加回収せず失敗として残す。回収できる場面を増やすことと、所有権の境界を狭く保つことにはトレードオフがある。
現在残っている問題
最初の故障が、評価用の分類に置き換わる
固定版のruntimeでは、collectorがReportEofやOutputLimitを返した後、想定した故障注入であることを確認してLifecycleDetectedへ変換する経路がある。first_faultを記録する位置が変換後なので、その後にguardian死亡やcleanup失敗が起きると、元のEOFや出力上限ではなく、変換後の分類しか残らない場合がある。Issue上でもこの保存位置が課題になっている。
collectorが最初に観測した異常と、実験全体が最後に何で停止したかは別の情報である。first_faultの保持は観測順序を残すもので、それだけで根本原因や全プロセス間の発生順序を証明するものではない。前者を失うと、モデルやpayloadの問題と、評価基盤の回収失敗を分離できなくなる。
修正方針は、collectorの元の故障を変換前に保存し、後続の失敗で上書きしないことだ。既存設計では、そのbaselineのcleanupがすべて成功した場合に一時記録を解除する。したがって、このfirst_faultは全イベントの永続履歴というより、異常回収へ持ち越す診断情報である。調査した固定版では、元の故障と後続故障を同時に起こして確認するfixtureが未完だった。
重複した正常通知を、正常なstreamと区別できない
コマンドと矛盾する終端通知は拒否される。一方、同一の有効な終端通知が二回来る場合、固定版は二回目も受理する。現在の指摘は、二重回収や誤った成功が実証されたというものではなく、重複通知を監査上の異常として区別できない点である。
合意された方針は、最初に得た正常完了の証拠を保持しつつ、後続の重複を不正なstreamとして記録することだった。「回収を再び許可するか」と「通知列が正常だったか」を別の判定にする必要がある。
親も死んだ場合の回収は完結していない
guardian死亡後に親が回収を始め、その親も死亡する二重故障では、現在の設計は新しいguardianを自動生成しない。payload、cgroup、実行用領域が残る可能性がある。
次の実行は残留領域を勝手に引き継がず、開始を拒否する。専用VMの管理者が所有identityと証拠を確認して回収する方針である。このため、「どの異常終了でも資源が必ずゼロになる」とは言えない。残留を次の実験へ混ぜないことと、必ず自動回復することを分けている。
パスの競合とDrop経路も残っている
回収対象の参照を保持する設計があっても、最上位のROOT/RUNを削除するときのパスの競合まで、すべて検証済みとは言えない。通常GroupのDropから行うcleanupについても、故障注入と失敗の記録を確認する条件が残る。固定版の設計資料は、これらを別の未完条件として挙げている。
既存の検証記録から何が言えるか
今回確認したのは、コード、unit testの条件、公開された開発報告である。手元でLinux root試験を再現した結果ではない。
| 対象 | 確認できた内容 | そこからは言えないこと |
|---|---|---|
efa9159dの終端通知検証 | コマンド・死亡観測状態・reason・trigger・transition・owner_deadの600組をunit testで列挙 | OS上の全実行順序を網羅したこと |
| 同版のworkspace | 開発担当から同一ソースで224 tests成功の報告 | 224件すべてが特権付き故障注入であること |
| 同版のroot checkpoint | 4ケースと次世代137観測、driver exit 0、所要138.824秒という報告 | 未注入の複合故障や全順序も検証したこと |
旧版80f78b3のdiagnostic再実行 | 加入直後、payload、collector、SIGSTOP負例の4ケースと、その後の通常suiteの137観測を通過した報告 | 新版にも同じ結果が成立すること |
| 旧版の初回実行 | SIGSTOP対象の選択段階で失敗 | 再実行の成功によって初回失敗の原因が解消したこと |
執筆中に、efa9159dそのものの追加報告も確認できた。linux_guardian_death_smoke.pyの4ケースが通り、SIGSTOP負例では500msの間、親が回収を引き継がないことを確認したという。その後、各ケースのresources_removed=trueと、最後の通常suite終了後のROOT/RUN不在についても補足確認があった。この所要時間は当該root fixture全体の報告値であり、payloadの性能や本番環境の保証値ではない。
600という数は、3 × 2 × 5 × 5 × 2 × 2の入力組合せである。600回のroot試験でも、並行実行の状態空間を探索した件数でもない。
旧版の成功報告には、保存JSONがある一方で、実行sessionのexit値や全体経過時間を再取得できないという制約がある。これを失敗と同一視する必要はないが、完全な再現記録とも扱えない。
検知時間についても、設計資料が扱うのは特定の注入点での観測である。schedulerや同期I/O、ホスト全体の停止を含む最大応答時間の保証ではない。この記事では、条件の異なる計測値をまとめて平均したり、一般的な性能値として掲載したりしない。
似た問題をどう扱っているか調べた
応答がない相手をどう扱うか、古い所有者との競合をどう防ぐか、後片付けの失敗をどう試験するか。この三つを手掛かりに論文や実装資料を調べた。読んでみると、今の課題を整理するのに使える考え方がいくつか見つかった。
応答欠落を死亡と同一視しない
まず気になったのは、応答を待つ期限と、相手が死亡したと判断する根拠の違いだった。ChandraとTouegの研究は、非同期分散システムで、故障検知器の完全性と正確性を分けて扱う1。応答が遅いことと、相手が故障したことを区別するための整理として参考になる。
ただし、今回の親とguardianは同じカーネルのpidfdを使う。ネットワーク上の疑いだけで合意を作る問題とは条件が異なる。この論文を、ローカルの死亡検知が不可能だという根拠にはしない。
Crash-only設計と監視側の信頼
異常終了からの回復を、最初から実装の中心に置く考え方も参考になった。CandeaとFoxのCrash-Only Softwareは、通常停止だけを特別扱いせず、クラッシュと回復を設計の中心に置く。外部から強制する境界、timeout、資源や実行のlease、watchdogも議論している2。
今回の課題は、そのwatchdog自身が死んだ後の引継ぎ条件を具体化するところにある。関連は深いが、同論文が現在のpidfd・cgroupを使うプロトコルを検証したわけではない。
古い所有者を止めるという観点
親へ回収を引き継ぐときには、古い所有者がもう資源へ触れないことも必要になる。Chubbyでは、ロックを失った古い所有者から遅れて届く要求を扱うため、sequencerを受信側で検査する設計が説明されている3。所有者が交代したと思う側だけの判断では不十分、という比較軸になる。
今回のDeadGuardianとserialization guardはChubbyのsequencerそのものではない。guardian死亡をOSで確定し、資源identityを保持した専用経路へ権限を絞ることで、古い主体との競合を避けようとする点が対応する。
回復処理そのものへの故障注入
回収処理が動く順序を狙って壊す試験については、MarinescuとCandeaのLFIが参考になった。ライブラリ境界で失敗を注入し、通常は通りにくい回復処理を検証する。論文には、通常経路のunlock後にcloseが失敗し、エラー処理で再びunlockする不具合もある4。
これは、EOFを検知した後のcleanupだけを失敗させる今回の試験に近い。違いは、現在のfixtureがRustのプロセス間制御と特定のsyscall境界を狙う点にある。LFIの結果をそのまま今回の網羅性に読み替えることはできない。
WuらのHEROは、cleanupの順序違い、重複、不足をDisordered Error Handlingとして分類し、対応する関数の組を使って検出する5。今回も「エラーを返したか」だけではなく、回収の順序と各操作の重複可否を見る必要がある。ただし、HEROがこのRust実装へそのまま適用できることは確認していない。
containerdにも専用のcleanupがあった
実際のランタイムで監督役の死亡をどう扱うかも調べると、containerdに専用の経路があった。containerd Runtime v2は、shimと通信できなくなった際に資源を回収するdeleteサブコマンドを要求している。shimがSIGKILLされた場合も想定している6。監督役が止まった後の回収を、別の入口から実行できるようにしている。
さらにIssue #13977には、cleanup用プロセスの作業ディレクトリが既に削除されていると、cleanup自体が起動できないという報告がある。ここで参照するのは報告された故障条件であり、こちらでの再現結果ではない。回収処理が依存する資源も途中で消える、という観点が共通する。
次に必要な評価
現在の不足に対しては、テスト総数を増やすだけでなく、どの順序を作り、何をassertするかを固定したい。次の表は評価案であり、完了した試験の一覧ではない。
| 注入する条件 | 必須の確認 |
|---|---|
| ReportEof確定後、cleanup前にguardian死亡 | 最終reasonと独立してfirst_faultが元のEOFを保持する |
OutputLimit確定後、対象のcgroup.kill writeへ単発EIO | 注入対象のFD・inode・長さ・書き込み値が一致し、元の故障を上書きしない |
| guardianがSIGSTOP中 | 死亡として扱わず、親が引継ぎ回収を始めない |
| command送信前後、ACK前後でguardian死亡 | 送信成功の事実とownership遷移が対応し、二重の操作主体を作らない |
| 有効terminalの後に重複・交差・部分通知 | 正常証拠の保持とstream異常の記録を独立して確認する |
| 回収途中で親も死亡 | 自動回収の未保証を記録し、次世代が残留資源を変更せず拒否する |
計測単位は、一つのソースhashから作ったバイナリ、一つの故障注入条件、一つの結果ファイルとする。kernel、CPUアーキテクチャ、cgroup設定、権限、binary hash、注入点、終了コード、経過時間、完了ケース数も一緒に残す。繰り返し回数と失敗した試行を含めて報告し、成功した再実行だけを採用しない。
また、payloadの結果、guardianの状態、親の回収結果を別々に記録する。後片付けに成功しても、payloadの試験が成功したことにはならない。次の実行が始められたとしても、直前の実行の監査情報が完全だったとは限らない。
考察
いま必要なのは、新しい監視方式を増やすことよりも、既にある証拠の意味を揃えることだと思っている。死亡確認は回収完了ではなく、回収完了は試験成功ではない。正常な終端通知を一度受け取ったことと、その後も通知列が正常だったことも違う。
資料を読んで、回収の入口で求める証拠と、回収後に残す記録を分けて考えやすくなった。今回の実装では、親とguardianの所有権、cgroupとFD identity、コマンドと終端通知の対応を試験条件にし、さらに回収処理へ故障を入れて元の異常が記録に残るかを確かめたい。
まずは元の故障を保持する複合故障試験と、通知重複の監査を確定版で通す。その後に残る起動・終了の全順序、最上位パスの競合、Drop経路の失敗、二重故障、連続出力時の公平性を埋める。実モデルの比較結果を論じる前に、評価基盤自身の失敗を区別して報告できる状態にしたい。
参考文献
- Tushar Deepak Chandra and Sam Toueg. Unreliable Failure Detectors for Reliable Distributed Systems. Journal of the ACM, 43(2), 1996, pp. 225–267. DOI: 10.1145/226643.226647。著者の文献ページ。
- George Candea and Armando Fox. Crash-Only Software. HotOS IX, 2003. 論文PDF, 特に§3.2。
- Mike Burrows. The Chubby lock service for loosely-coupled distributed systems. OSDI, 2006. 論文PDF, 特に§2.4。
- Paul D. Marinescu and George Candea. Efficient Testing of Recovery Code Using Fault Injection. ACM Transactions on Computer Systems, 29(4), Article 11, 2011. DOI: 10.1145/2063509.2063511。論文PDF, 特に§8.2。
- Qiushi Wu, Aditya Pakki, Navid Emamdoost, Stephen McCamant, and Kangjie Lu. Understanding and Detecting Disordered Error Handling with Precise Function Pairing. USENIX Security, 2021. 論文PDF。
- containerd contributors. Runtime v2,
delete節。査読論文ではなく公式設計資料。ドキュメント(2026年11月15日参照)。