<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>障害回復</title><link>https://blog.ast.moe/tags/%E9%9A%9C%E5%AE%B3%E5%9B%9E%E5%BE%A9/</link><description>最近の記事: 五里霧中</description><generator>Hugo</generator><item><title>監視プロセスが死んだ後、サンドボックスをどう片付けるか</title><link>https://blog.ast.moe/blog/2026-11-15/</link><pubDate>Sun, 15 Nov 2026 22:21:26 +0900</pubDate><guid>https://blog.ast.moe/blog/2026-11-15/</guid><description>&lt;p&gt;AIエージェントを隔離して評価するizanagi-tempestで、現在詰めているのは、監視プロセスが異常終了した後の資源回収である。実行対象を停止できても、親と監視側が同じ資源を同時に削除したり、後片付けの失敗によって最初の故障が記録から消えたりすると、隔離と評価の両方に問題が残る。&lt;/p&gt;
&lt;p&gt;監視側が死んだときの引継ぎや、後片付け自体が失敗したときの扱いをどう設計するか。調べてみると、障害検知やcrash-only設計、回復処理への故障注入の研究で、似た問題が扱われていた。containerdにも監督プロセスの死亡後にcleanupする経路がある。今回は、開発中に困っていることと、調べて参考になった考え方を整理しておく。&lt;/p&gt;
&lt;p&gt;この記事は2026年11月15日22時21分（JST）までに確認した開発報告と、固定コミットのコード・設計資料に基づく。掲載する検証結果はその記録によるもので、執筆のためにroot故障注入や実モデル比較を実施したものではない。&lt;/p&gt;
&lt;h2 id="背景と調査対象"&gt;背景と調査対象&lt;/h2&gt;
&lt;p&gt;&lt;a href="https://blog.ast.moe/blog/2026-10-08-3/"&gt;以前紹介したIzanagi&lt;/a&gt;は、開発用コマンドを隔離して動かす基盤である。izanagi-tempestは、そこへローカルAWSシミュレータのLWSと評価シナリオを組み合わせる。目標は、モデルが何を発見したかだけでなく、どの権限で何を実行し、どの証拠を残したかまで比較できる実験環境を作ることにある。&lt;/p&gt;
&lt;p&gt;現在の&lt;a href="https://github.com/ieee0824/izanagi-tempest/issues/36"&gt;Issue #36&lt;/a&gt;は、subscription認証を使うモデル側、MCP側、IPCを制御する側を分離して実行する課題を扱っている。本稿で取り上げるLinuxプローブは、その前提を固定したダミープロセスで確かめる段階にある。本物の認証情報やモデルを入れた比較実験の成功とは区別する。&lt;/p&gt;
&lt;p&gt;調査したmainは&lt;code&gt;5befb609&lt;/code&gt;、回収処理の開発版は&lt;a href="https://github.com/ieee0824/izanagi-tempest/tree/efa9159d73a22258452e7e4322fdf69d7f599560"&gt;&lt;code&gt;efa9159d&lt;/code&gt;&lt;/a&gt;である。後者は調査時点でmainへ未マージだった。以下の実装説明は、主にこの開発版の&lt;a href="https://github.com/ieee0824/izanagi-tempest/blob/efa9159d73a22258452e7e4322fdf69d7f599560/docs/LINUX_GUARDIAN_RECOVERY.md"&gt;回収設計&lt;/a&gt;、&lt;a href="https://github.com/ieee0824/izanagi-tempest/blob/efa9159d73a22258452e7e4322fdf69d7f599560/crates/tempest-linux-probe/src/watchdog.rs"&gt;watchdog&lt;/a&gt;、&lt;a href="https://github.com/ieee0824/izanagi-tempest/blob/efa9159d73a22258452e7e4322fdf69d7f599560/crates/tempest-linux-probe/src/runtime.rs"&gt;runtime&lt;/a&gt;に対応する。&lt;/p&gt;
&lt;p&gt;問題を次の三つに絞る。&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;guardianが応答しないとき、親は何を根拠に回収を引き継げるか。&lt;/li&gt;
&lt;li&gt;引き継いだ回収が、別の実行世代の資源や既に完了した処理へ触れないことをどう確認するか。&lt;/li&gt;
&lt;li&gt;最初の故障と、その後の回収失敗を、評価に使える形で残せるか。&lt;/li&gt;
&lt;/ol&gt;
&lt;h2 id="故障モデル止まっていることと死んだこと"&gt;故障モデル：止まっていることと死んだこと&lt;/h2&gt;
&lt;p&gt;ここでは、実行を進める親プロセス、親を監視するguardian、実行対象であるpayloadを区別する。guardianは親が停止した場合などの回収を担うが、そのguardian自身も終了し得る。&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;観測&lt;/th&gt;
&lt;th&gt;分かること&lt;/th&gt;
&lt;th&gt;それだけでは分からないこと&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;応答のtimeout&lt;/td&gt;
&lt;td&gt;期限内に応答を受け取れなかった&lt;/td&gt;
&lt;td&gt;guardianが死亡したか&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;control/status pipeの異常&lt;/td&gt;
&lt;td&gt;通信経路が正常でない&lt;/td&gt;
&lt;td&gt;資源の所有者が消えたか&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;guardianへの&lt;code&gt;SIGSTOP&lt;/code&gt;&lt;/td&gt;
&lt;td&gt;実行が一時停止している&lt;/td&gt;
&lt;td&gt;再開しないこと、死亡したこと&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;保持したpidfdで終了を確認&lt;/td&gt;
&lt;td&gt;対象プロセスが終了した&lt;/td&gt;
&lt;td&gt;cgroupや作業領域が回収済みか&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;code&gt;waitpid&lt;/code&gt;で終了状態を回収&lt;/td&gt;
&lt;td&gt;直接子の終了状態を取得した&lt;/td&gt;
&lt;td&gt;孫プロセスや残留資源も消えたか&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;この区別にはOSの機能を使える。&lt;a href="https://man7.org/linux/man-pages/man2/pidfd_open.2.html"&gt;&lt;code&gt;pidfd_open(2)&lt;/code&gt;&lt;/a&gt;で得た参照は、数値PIDを後から引き直すよりも対象を保持しやすく、pollによる終了観測にも使える。ただし、pidfdを得る前の窓や、終了状態を別の場所で回収してしまう競合まで自動的に解決するわけではない。&lt;/p&gt;
&lt;p&gt;資源の範囲も別に確認する。Linuxの&lt;a href="https://docs.kernel.org/admin-guide/cgroup-v2.html"&gt;&lt;code&gt;cgroup.kill&lt;/code&gt;&lt;/a&gt;は子孫cgroupを含むプロセスの停止を扱い、同時のforkやmigrationも考慮する。しかし、その呼び出しだけを「後片付け完了」の証明にはしない。対象が空になったこと、直接子のreap、実行用ディレクトリの最終状態まで確認する必要がある。&lt;/p&gt;
&lt;p&gt;本稿の前提は、カーネルと親・guardianの制御コードを信頼し、プロセス停止、通信の欠落、部分的な状態通知、回収中のI/O失敗を扱うことである。カーネル侵害、悪意あるホスト管理者、ホスト全体の停止からの自動復旧は保証の対象に含めない。&lt;/p&gt;
&lt;h2 id="回収を権限の移譲として扱う"&gt;回収を「権限の移譲」として扱う&lt;/h2&gt;
&lt;h3 id="親が勝手に通常処理へ戻らない"&gt;親が勝手に通常処理へ戻らない&lt;/h3&gt;
&lt;p&gt;開発版では、通常のcgroup操作を行う&lt;code&gt;Group&lt;/code&gt;と、異常終了後の回収専用型&lt;code&gt;RecoveryGroup&lt;/code&gt;を分けている。guardianとの初期ACKと、保持したdirectory FDのdevice/inodeを照合した後に、回収用の参照を作る。固定パスにディレクトリがあるという理由だけで、自分の資源として採用する経路は作らない。&lt;/p&gt;
&lt;p&gt;親側の回収では、世代間の競合を防ぐserialization guardを保持し、guardianの死亡とreapを確認する。そのうえで、通常のheartbeatと&lt;code&gt;Group&lt;/code&gt;操作を再許可せず、専用経路だけを使う。&lt;/p&gt;
&lt;p&gt;条件を説明用に要約すると、次のようになる。これは実装を完全に記述した形式仕様ではない。&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"&gt;&lt;code class="language-text" data-lang="text"&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;親による回収開始条件 =
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; serialization guardを保持
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; ∧ 自所有の資源identityを保持
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; ∧ 引継ぎ可能なownership状態
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; ∧ guardianの死亡を確認
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; ∧ guardianのreapを確認
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; ∧ 通常操作を禁止
&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;目的は、同じ実行世代の資源を変更する主体が競合しないことにある。timeoutからこの条件を推測してはいけない。&lt;code&gt;SIGSTOP&lt;/code&gt;されたguardianが後で再開するなら、親が先に回収を始めることで二つの主体が同じ資源へ触れる可能性がある。&lt;/p&gt;
&lt;h3 id="コマンドを送った事実と対応する完了通知"&gt;コマンドを送った事実と、対応する完了通知&lt;/h3&gt;
&lt;p&gt;guardianへコマンドを送る経路でも順序が重要になる。開発版は1 byteのwriteに成功してから&lt;code&gt;CommandSent&lt;/code&gt;へ進む。送れなかったのに「送信済み」として扱うと、どちらが後片付けを担当するか曖昧になる。&lt;/p&gt;
&lt;p&gt;完了通知は、単に&lt;code&gt;released&lt;/code&gt;または&lt;code&gt;recovered&lt;/code&gt;という文字があればよいわけではない。送信に成功したコマンドと、通知の理由・発火理由・遷移を対応させる。&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;送信したコマンド&lt;/th&gt;
&lt;th&gt;reason&lt;/th&gt;
&lt;th&gt;trigger&lt;/th&gt;
&lt;th&gt;transition&lt;/th&gt;
&lt;th&gt;owner_dead&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;&lt;code&gt;D&lt;/code&gt;：通常終了の通知&lt;/td&gt;
&lt;td&gt;&lt;code&gt;explicit_done&lt;/code&gt;&lt;/td&gt;
&lt;td&gt;&lt;code&gt;explicit_done&lt;/code&gt;&lt;/td&gt;
&lt;td&gt;&lt;code&gt;released&lt;/code&gt;&lt;/td&gt;
&lt;td&gt;&lt;code&gt;false&lt;/code&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;code&gt;R&lt;/code&gt;：回収の委譲&lt;/td&gt;
&lt;td&gt;&lt;code&gt;relinquish&lt;/code&gt;&lt;/td&gt;
&lt;td&gt;&lt;code&gt;relinquish&lt;/code&gt;&lt;/td&gt;
&lt;td&gt;&lt;code&gt;recovered&lt;/code&gt;&lt;/td&gt;
&lt;td&gt;&lt;code&gt;false&lt;/code&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;この対応は&lt;a href="https://github.com/ieee0824/izanagi-tempest/blob/efa9159d73a22258452e7e4322fdf69d7f599560/crates/tempest-linux-probe/src/watchdog.rs#L509"&gt;&lt;code&gt;record_status&lt;/code&gt;&lt;/a&gt;で検証する。死亡後にpipeへ残った通知を読み取る場合も、同じ条件を使う。&lt;/p&gt;</description></item></channel></rss>