以前の記事では、開発用コマンドを隔離して監視するIzanagiの機能を紹介した。QEMUを使う構成では、Linux guest内のagentがeBPFでイベントを集め、hostへ送る。ファイルを開いたプロセス、TCP接続、送信したbyte rangeまで記録できれば、依存パッケージやコーディングエージェントが何をしたかを後から調べやすい。

しかし、監視対象のguestでrootを取られた後も、その記録を信じてよいのだろうか。

使い捨てのLinux VMで、収集器が動き続けていても記録の一部が欠けるかを調べた。送信の有無はホスト側のHTTP受信記録で確かめた。別のQEMU実験では、ゲスト外で採取した仮想NICの記録とゲスト内のイベントを接続ごとに照合した。

先に結論を書く。guest内センサーだけでは、collectorが生きたまま一部の証拠を消される場合があった。一方、QEMUのguest外NICには実際のTCP通信が残った。ただし、外から通信が見えたことと、それを正しいguestプロセスへ帰属できたことは同じではない。今回作ったのは、その差を曖昧にしないための最初の監査経路である。一般的な改ざん検知の完成や、検知率の評価まで終えたわけではない。

collectorが動いていても、writerの証拠だけ消せた

予備実験時の実装では、ゲスト内の収集器がソケットの送信範囲を記録する際に、初期化済みのカーネルレイアウト情報を使っていた。試験中にその情報の整合性が失われると、送信範囲の記録が途切れた。

変更前、変更中、復元後に、17 byteの同じダミーbodyを新しいTCP接続から送った。最小C clientを使った判定用試行ではObservationGapは0件だった。

phasehostが受信したPOSTSocketConnectSocketWritelifecycle
変更前1111
整合性が失われた試行1101
復元後1111

変更中もcollectorは終了せず、process、file、connect、socket lifecycleのイベントは続いた。drop counterによる欠落通知もなかった。それでもhostのreceiverはPOSTを受け取り、guest側では対応するSocketWriteだけが無くなった。

収集器のプロセスは、この3回の送信中ずっと動いていた。

process identityも動的mapに依存していた

別の試行では、ダミーの値をHTTPで送るテストプロセスについて、プロセスの識別情報が失われたときの記録を調べた。localhostの受信側で要求の到着も確認した。

対照では12イベントすべてにprocess identityがあり、通信イベント2件も帰属できた。識別情報に欠損が生じた試行では12件中6件が帰属不能となり、SocketConnectとSocketWriteに相当する2件も両方とも送信プロセスを確定できなかった。HTTP要求自体は対照・改ざん後ともreceiverへ届き、collectorの終了コードも0だった。

この状態で、以前に見たPIDへ都合よく帰属し直すのは危険である。PIDは再利用されるため、欠けた世代を推測すると別プロセスの操作に見せてしまう。改ざん後の実装では、以前はidentityがあったTGIDからidentityが消えた場合、帰属を空のまま保ち、InvalidEventを付けるようにした。

overflowと改ざんは同じ扱いにできない

非特権プロセスによる高負荷試験では、0.428秒間の負荷でリングバッファが溢れ、収集器は793,360件のイベント欠落を通知した。別の試行では、負荷の直後に送ったダミーのPOSTが、受信記録とゲスト側の通信イベントの双方に残った。

ここでは欠落は発生したが、既存のdrop counterがそれを明示している。逆にSOCKET_LAYOUTの変更では、必要なイベントが無いのにgapは出なかった。通常のnpm install、build、testを連続実行した1試行でも、TCP flowはNICとguestで2/2一致した一方、合計443件のevent dropが生じた。

したがって、gapが出たという事実だけを攻撃警告にすると、普通の開発作業まで警告しうる。見たいのは「外部に通信が存在するのに、対応するconnect、write、processの証拠がない」という具体的な不一致である。

HMACはguest rootから独立した証人ではなかった

QEMU構成では、hostとagentの通信を共有鍵で認証している。通信途中の改変や、鍵を持たない第三者からの接続には必要な仕組みだが、鍵の置き場所も信頼境界に含めて考えなければならない。

この構成ではゲスト管理者にも試験用の共有鍵が読めた。回帰テストでも、同じ鍵で認証された通信に含まれるイベントの内容まで真正とは限らないことを確認した。

つまりHMACは「そのイベントが侵害済みguestの外で作られた」ことを証明しない。guestが所有するeBPF map、agent、共有鍵は、guest rootに対して同じ側の境界にある。

guest外NICを分母にする

そこで、guestが報告したイベントだけを分母にせず、QEMUの仮想NICで見えたTCP flowを先に数えることにした。host側で見たflowごとに、同じ接続期間とtupleを持つguest側のSocketConnectとSocketWriteがあり、送信byte rangeが先頭から連続し、process identityも有効かを調べる。

最小QEMU guestから4本の平文HTTP接続を並行して送った試行では、NICのSYN 4本にguestのSocketConnectが4/4で一意に対応した。各SocketWriteは[0, 88)、NIC側のTCP payloadも88 byteで、照合不能は0/4だった。URLに試行番号を付けた再試行では、guest eBPF、NIC、NAT後のHTTP receiverの4要求を番号で対応付けられた。

ただし、時刻順だけでは結べなかった。同じ宛先への4接続で、guest側とNIC側の観測時刻の差の開きは10.925 msあり、2接続の順序は逆転した。NAT後のreceiver logに元のportが無ければ、既知のrequest IDなどがない限り、時刻だけで一意に帰属させるべきではない。

TLSやDoHではさらに証拠が弱くなる。NICから5-tuple、packet length、時刻は得られても、暗号化されたhostname、URL、bodyまでは見えない。外部通信の存在は証言できても、何を送ったかまで常に証言できるわけではない。

不一致を独立した監査レコードにした

予備実験の後、Issue #138で最低限のhardeningを実装し、PR #140へまとめた。

まずSOCKET_LAYOUTは、kernel layoutを書いた直後にBPF_MAP_FREEZEで凍結し、値を読み返して検証する。Linux VMでの回帰試験では、凍結後の更新は Operation not permitted で拒否された。更新試行の前後に送った2本のflowは、どちらもSocketWriteとして残った。

次に、guest外で確定した1本のTCP flowをguestイベントと比較するHostWitnessFlowを追加した。次の三つを別々に記録する。

  • 対応する単一のconnectを確認できない
  • 外部で見た送信byte数をguestのwrite rangeが覆わない
  • rangeはあっても、有効なprocess identityで全体を帰属できない

不一致は分類結果へ混ぜず、HostWitnessMismatchという監査レコードとして保存する。停止済みsessionに対しては、izanagi behavior audit-witnessで照合できる。PCAPの単一TCP streamから入力JSONを作るwitness-flow-from-pcap.shも追加した。

ここはまだofflineの監査経路である。NIC captureからflowを選び、guestのboot IDと単調時計上の範囲を対応付けた入力が必要になる。NIC採取から警告やsandbox停止までを自動化したonline detectorではない。

今回分かった範囲

今回の結果から、少なくとも次のことは言える。

  • guest rootは、対策前の実装でcollectorを停止せずにwriterやprocess帰属の証拠を欠落させられた。
  • event gapは既存のdrop counterで分かる場合もあるが、mapの意味を変えた欠落はgapにならない場合があった。
  • guest rootが共有鍵を読める構成では、HMACだけでtelemetryの真正性を保証できない。
  • QEMUのguest外NICは、guestが報告しなかった実通信を数える独立した分母になりうる。
  • 現在の実装は、immutableなlayoutを凍結し、process identity消失を不正な品質として残し、外部flowとの不一致を独立監査レコードにできる。

一方、次の主張はしていない。

  • guest内センサーの完全性を一般に証明したわけではない。
  • 攻撃ごとの検知率、検知遅延、正常作業の誤警告率を統計的に測っていない。
  • 偽telemetryを実通信へ完全に合わせるmimicryを実証していない。
  • Apple Containerでは、guest processへ戻すための同等なeBPF telemetryが無く、QEMU/Linuxと同じ評価はできていない。
  • ネットワークに出ない攻撃は、このwitnessでは見えない。

次に測るもの

次は同じ実験設定で攻撃試行と正常試行を繰り返し、次の項目を測る。

  • map改ざん、collector停止、overflow、偽event、mimicryごとの検知率と検知遅延
  • npm install、PyPI、build、test、コーディングエージェント作業でのflow数と誤警告
  • NIC capture、照合、監査保存によるCPU、メモリ、通信レイテンシ
  • heartbeat、連番、drop counterだけを使うguest内検査との差

センサーを増やすだけでは、そのセンサーを誰が変更できるかという問題は消えない。今回面白かったのは、host側に新しい専用ハードウェアを足さなくても、sandboxがすでに持っている仮想NICやproxyを「guestの報告とは別の証人」として使える可能性が見えたことだった。次は、その可能性を単発の成功例ではなく、反復可能な検知性能として測っていく。