前回はGemma 4 E2Bの重みを、学習し直さずに0にする実験をした。小さい絶対値の重みを行列ごとに選ぶと、対象の20%を消してもWikiText-2のperplexityは約1.13倍だった。しかし、重みの配列の形は変わらない。予測性能がある程度残ることは分かっても、モデルを小さく保存できたわけでも、速く動かせたわけでもなかった。

今回はMLPの中間チャネルを丸ごと削り、行列そのものを小さくした。重みを更新する学習は行っていない。削る位置をどう選べば性能を残せるかを調べ、その後に保存したモデルの大きさ、メモリ、速度を測った。8ビット量子化との併用も比較した。

先に主要な結果を書く。層出力への影響に基づいて約10%のMLPチャネルを削ると、perplexityは9.628から10.267へ約1.07倍になった。bf16の重みサイズは9.26GBから8.93GBへ約3.5%減り、生成速度は16.5から17.5トークン/秒へ上がった。8ビット量子化を重ねた場合も、チャネル削除による追加の縮小と高速化が見られた。

一方、重みの大きさだけでチャネルを選ぶという最初の仮説は外れた。同じ10%削除でも、RMSNormの倍率を考慮した重みノルム方式はperplexityが約3.99倍、ランダム方式は約1.39倍で、ノルム方式のほうが悪かった。前回の非構造的な枝刈りでうまくいった基準を、そのままチャネル単位へ持ち込むことはできなかった。

検証の目的と前回との差分

非構造的枝刈りで残った課題

前回は、対象の重み行列から個々の要素を選び、値を0に置き換えた。行列が6144 × dなら、削除後も6144 × dのままだ。0が増えても、通常の密行列として保存・計算すれば、要素を並べる領域も演算の形も変わらない。

その実験が調べたのは、どの重みを消したときに予測の損失が小さいかという問題だった。選ぶ場所に意味があることは確認できたが、0を飛ばす実装や疎な保存形式にはしていなかった。したがって、今回の出発点は「前回より多く0にする」ではなく、「実行する行列の次元を減らす」ことになる。

この二つは似て見えて、使える自由度が違う。個々の重みを選ぶなら、あるチャネルの中の一部だけを残せる。チャネルごと削る場合は、そのチャネルに関係する複数の行列の要素をまとめて失う。小さい値だけを拾って消すことはできない。代わりに、一般的な密行列のまま計算量を減らせる可能性がある。

今回の仮説

最初の仮説は、MLPの中間チャネルを重みの大きさで順位付けし、弱そうなものから取り除けば、学習なしでも小さく速いモデルを作れるのではないか、というものだった。前回は小さい重みを選ぶ方式がランダムよりかなり良かったので、その発想をチャネルへ広げた。

ただし、構造をまとめて削るので、前回より少ない削除率で崩れると予想した。重みを1個ずつ消す場合よりも制約が強いという見通しだ。予測性能だけでなく、本当に行列が小さく保存され、速度へ反映することまで確認する必要がある。

実際にはノルム方式の劣化が大きく、この仮説の選択基準はうまくいかなかった。そこで、校正用の文章を流したときに、各チャネルが実際にどれだけ働いているかを使えばよいのではないか、という第二の仮説を立てた。活性の大きさと、チャネルを外したときの層出力の変化を調べることにした。

この順序は記録しておきたい。最初から出力変化による方式だけを試して成功したのではなく、重みノルムでの失敗を受けて選び方を変えている。後の結果は、当初の仮説すべてを確認したものではない。

学習なしと、データを使わないことの違い

今回も重みを勾配で更新する学習はしていない。ただし、活性を使う方式では、チャネルの重要度を測るために文章をモデルへ通す。重みだけを見れば計算できるノルム方式とは、情報の使い方が違う。

「学習なし」は、データが不要、処理が無料、前処理がない、という意味ではない。校正用の順伝播、その結果の集計、候補方式の比較、モデルの保存、性能評価が必要になる。これらの準備費用を含めた総時間の短縮は、今回の推論速度の表からは分からない。

また、初期値へ戻して再学習していないので、前回と同様に宝くじ仮説そのものを検証する実験ではない。対象は学習済みモデルが持つ予測能力を、どの程度保って物理的に小さくできるかだ。

実験環境とモデルの範囲

ハードウェアと実行系

実行環境はApple M3、メモリ16GBのMacで、MLXとmlx-lm 0.32.2を使った。対象はgoogle/gemma-4-E2B。元の精度はbf16で、保存した縮小モデルについてもbf16と8ビット量子化の両方を比較した。

この記事の数値は、その環境で行った実験記録による。記事の執筆時にモデル評価や速度測定を最初から実行し直したものではない。小数点以下の多い生ログではなく、実験報告で整理した丸め値を中心に掲載する。表示値から計算した比率は、元の未丸め値から求めた比率と少しずれることがある。

特に速度の百分率は、表の1桁小数を割り算して再計算するより、実験で集計した改善率をそのまま載せる。たとえば16.5と17.5だけから計算した値は、記録した約6.3%と完全には一致しない。元の測定値を丸めてから表示しているためだ。

テキスト部分を比較対象にする

保存したモデルはテキスト部分だけで、画像と音声の部分を含まない。元の配布ファイルは10.25GBだが、そこには今回保存していない部分も入る。そのサイズと縮小後のテキストモデルを直接比べると、MLP削除の効果を大きく見せてしまう。

そこでサイズ比較では、読み込んだテキストモデルの重みを基準にした。元のbf16重みは9.26GB、縮小後は8.93GB。パラメータ数も、比較対象として読み込んだテキスト部分の4.629Bと4.466Bを使う。モデル名のE2Bという表記を、そのまま総パラメータ数と読み替えない。

モデルカードでは、E系モデルは層ごとの埋め込みを使う構成として説明されている。今回は実験で数えたテキストモデルの範囲を一貫して使い、画像・音声を落としたことによる差と、MLPを削ったことによる差を分けた。

削除対象とした構造

対象は35層すべてのMLP中間チャネルで、attentionのヘッド数、隠れ状態の幅、語彙数、埋め込み表そのものは変更していない。層の数も減らしていない。残したattentionや埋め込みを含めたモデル全体の重み数を数え直し、保存モデルの比較へ使った。

後半20層のMLPは前半より2倍幅になる。この構成は使用版mlx-lmのMLP実装でも確認できる。基準の中間幅は6144で、2倍幅の層では12288になる。

全層を同じ比率で減らし、基準となる残存チャネル数を64の倍数に合わせた。後半の層はその2倍を残す。この制約により、設定ファイルのintermediate_sizeを一つの値に保ち、mlx-lmでそのまま読み込める構成にした。層ごとに任意の幅を割り当てる探索はしていない。

MLPチャネル削除の実装上の意味

三つの行列から対応する位置を削る

今回扱うMLPは、概略を式で書くと次の形になる。ここではベクトルを列として表し、細かい正規化や残差接続は次の節で分ける。

h(x) = gelu(W_gate x) ⊙ (W_up x)
y(x) = W_down h(x)

W_gateとW_upは隠れ状態を中間チャネルへ写し、W_downは中間チャネルを隠れ状態の幅へ戻す。⊙は要素ごとの積だ。基準中間幅をk、隠れ状態の幅をdとすれば、保存される重みの形はgate: k × d、up: k × d、down: d × kになる。

中間チャネルjを消すなら、gateのj行目、upのj行目、downのj列目を対応させて消す。三つの行列で同じチャネル集合を残すことが必要だ。gateだけを削る、違う番号の列をdownから削る、といった変更では同じ計算にならない。

残す集合をSとすると、説明用の擬似コードでは次のようになる。これは処理の意味を示すもので、そのまま実験スクリプトへ貼るためのコードではない。

W_gate_small = W_gate[S, :]
W_up_small = W_up[S, :]
W_down_small = W_down[:, S]

残存チャネルの値を別の学習で補正するのではなく、元の値から対応する部分を切り出す。削除したチャネルの寄与は失うが、残したチャネルについては同じ入力に対するMLP内部の計算を維持できる。小さい行列として再配置することが、単に重みを0にする前回の方法との違いになる。

中間幅を減らしても入出力幅は変えない

MLPの入力も出力も隠れ状態の幅dのままなので、残差接続や後続のattentionへ渡す形は変わらない。中間のkだけを減らす。このため、モデル全体の隠れ幅を小さくする場合より、他の構造を保ったまま変更しやすい。

ただし、形がつながることと、予測内容が同じであることは別だ。出力が同じ次元のベクトルで返ってきても、その値は変わる。残差があるから削除した情報を必ず補える、という保証もない。構造上読み込めたことに加えて、perplexityと実際の生成も見る必要がある。

また、チャネル削除後のモデルを元と同じサイズのゼロ入り行列へ戻して保存したわけではない。小さくした行列と、それに一致する設定で保存する。ファイル容量の削減を調べるには、マスクを適用しただけのメモリ上の評価と、保存・再読込した構成を区別しなければならない。

名目の削除率と実際の幅

64の倍数へ合わせるため、表の5%、10%といった値は段階の名前で、チャネル数から求めた厳密な割合とは少し違う。10%段階では6144から5504を残すので、削った数は640、比率は約10.42%になる。

同様に、5%段階は5824を残すので約5.21%、20%段階は4928を残すので約19.79%の削除だ。表のラベルだけから、ぴったり10.000%や20.000%を削ったと解釈しない。再現するなら削除率の呼び名に加えて、残した実際の幅を合わせる必要がある。

全層同率という制約も、最適解を見つけたという意味ではない。ある層を多く残し、別の層を強く削れば、同じ重み予算で違う性能になる可能性がある。今回は設定の単純さと標準の読み込みやすさを優先し、その配分の探索はしていない。

チャネル重要度の五つの選択基準

生の重みノルム

最初に使ったのは、あるチャネルに対応するgateの行、upの行、downの列について、L2ノルムを求め、その三つを掛けたスコアだ。スコアが小さいチャネルから削る。

L2ノルムは要素の二乗和の平方根で、ベクトルの大きさを見る。個々の重みが小さいチャネルなら全体の寄与も小さいのでは、という発想になる。推論に使うテキストを用意しなくても、学習済みの重みだけから計算できる点は手軽だ。

ただし、このスコアは入力の分布を見ていない。ノルムの大きい行が、実際の入力で強く反応するとは限らない。また、二つの投影を非線形に組み合わせ、最後に別の投影を行うMLPの出力を、三つの大きさの積だけで十分に表せるかは分からない。今回はまずその素朴な基準を試した。

RMSNormの倍率を考慮したノルム

GemmaのMLPの前後にはRMSNormがある。同版の層の処理では、入力側を正規化してからMLPへ渡し、出力側も正規化した後で残差へ加える。単にMLPの三つの行列だけで、層の入出力全体が決まるわけではない。

そこで、MLPの前後にあるRMSNormの倍率を重みに反映してから、同じノルムの積を求める方式も使った。これは重要度を計算するときの倍率の考慮で、RMSNormの入力依存の正規化全体を線形行列へ完全に置き換えたという意味ではない。

観測した例では、層0の入力側RMSNormの倍率が特徴ごとに-0.77〜117と大きく違っていた。数値の符号も大きさも一様ではない。生の重みだけでは、同じ大きさの要素でも、実際に受け取る入力に対する効き方がかなり違う可能性がある。

倍率込みの方式は、生のノルムより大幅に良くなった。それでも後述するようにランダムより悪かった。倍率を取り込めば重要度が分かった、と結論することはできない。入力分布や活性の情報がまだ足りていないことを疑う結果だった。

活性の大きさを使うact

次は実際に文章を流して、中間活性の大きさを見る方式だ。校正データに対し、各チャネルの中間活性の二乗平均平方根を求め、倍率を考慮したdownの対応する列のノルムを掛ける。実験ではactと呼んだ。

同じ重みでも、ほとんど反応しないチャネルと、大きい値を頻繁に出すチャネルがあれば、取り除いたときの影響は違いそうだ。さらに、活性が大きくても、それを戻すdownの列が小さければ出力への寄与は弱いかもしれない。活性だけでも重みだけでもなく、その両方を見る。

この方法は、校正データに現れた入力での働きを測っている。そこに出ない言語や分野で重要なチャネルを見落とす可能性はある。校正データを使うから万能になるのではなく、何を見せたかに依存する基準へ変わる。

層出力の変化を使うact_err

もう一つがact_errで、チャネルを1本だけ外したときに、RMSNorm後の層出力がどれだけ変わるかを見る。変化の二乗の平均を重要度とし、小さいものから削る。中間活性の大きさを代理にするより、残差へ渡す出力に近い位置で影響を測る考え方だ。

全チャネルを本当に1本ずつ外して順伝播をやり直すと、チャネル数だけ計算が増えてしまう。実験では、全チャネルのスコアを二つの行列積でまとめて求めた。明示的に1本ずつ外す計算と比較し、0.2%以内で一致することをテストで確認している。

この0.2%は重要度計算の照合についての値だ。生成内容の誤差が0.2%以下、モデル全体の予測が0.2%以内で一致、という意味ではない。どの値を比べたテストかを分ける必要がある。

また、1本だけ外したときの影響が小さいチャネルをまとめて消しても、影響が単純に足し算になるとは限らない。複数チャネル間の関係や出力正規化があり、全層を削れば、その後の層が受け取る入力も変わる。単独削除のスコアは選択のための近似で、まとめて削除した後の損失を保証するものではない。

ランダム選択を対照にする

対照として、チャネルをランダムに選んで削る方式も測った。ノルムや活性による方法が有効かどうかを判断するには、同じ程度の幅へ小さくするだけで、どのくらい性能が変わるかを知る必要がある。

ランダムでも性能がある程度残るなら、モデルには選択基準に依存しない余裕があるかもしれない。反対に、考えて作ったスコアがランダムより悪ければ、基準が残すべきものを逆に落としている可能性を考えなければならない。

今回のランダムはseedを一つだけ使っている。複数のマスクの平均ではなく、そのマスクを使った結果だ。後の信頼区間があっても、それはランダムマスクの引き直しによるばらつきまで含むものではない。

データの分割と評価手順

校正データと方式選択用データ

actとact_errの重要度は、WikiText-2の学習分割から64ウィンドウ、各1024トークンを流して測った。実行するのは順伝播だけで、重みは更新しない。重要度を見る入力と、最終的なperplexityを評価するテスト入力は重ねていない。

どの方式を本番に使うかは、テスト分割の65〜128番目のウィンドウで、10%と20%削除を比べて決めた。最終結果の表はテスト分割の先頭64ウィンドウなので、方式選択と本番の評価窓を分けている。

ここで注意したいのは、方式選択にテスト分割の一部を使っていることだ。先頭64個とは重ならないが、完全に別のコーパスで選んだわけではない。今回の中では役割を分けているという意味であって、未知のあらゆる文章への一般化を保証する分割ではない。

用途データ範囲重みの更新
重要度の校正WikiText-2の学習分割64 × 1024トークンのウィンドウなし
選択方式の比較WikiText-2のテスト分割65〜128番目のウィンドウなし
本番perplexity評価WikiText-2のテスト分割先頭64ウィンドウなし
速度測定長さを固定した生成条件入力512・出力256トークンなし

本番評価と打ち切り

本番は前回と同じ、WikiText-2テストの先頭64ウィンドウ、各1024トークンでperplexityを測った。前回の評価では、1ウィンドウにBOSと本文1023トークンを使い、合計65,472トークンを予測している。同じ評価範囲なので、前回との比較の基準を合わせられる。

perplexityは次のトークンの負の対数尤度を平均し、その指数を取った値で、低いほど良い。1.07倍になったというのは、この指標が約7%悪化したという意味で、正答率が7ポイント下がったという意味ではない。文章の自然さや事実の正しさを直接数えている値でもない。

削除率は5%刻みの段階で進め、原則として削る前のperplexityの10倍を超えたところで、その方式の評価を打ち切った。ただし今回の記録には、環境の速度低下によって追加条件を評価しなかった箇所もある。空欄をすべて10倍基準で打ち切った結果と読むことはできない。

選択方式の比較結果

独立した評価窓での比較

まず方式選択用のウィンドウで比較した。ここでの削る前のperplexityは約8.67で、本番の約9.63とは違う。同じモデルでも評価する文章が変われば値は変わるので、倍率は各表の削る前を基準に読む。

選択方式10%段階の削除20%段階の削除
重みノルム・生の値439.4(50.7倍)6,769.0(780.9倍)
重みノルム・RMSNorm倍率込み33.39(3.85倍)140.5(16.2倍)
活性の大きさ act9.30(1.07倍)10.41(1.20倍)
層出力の変化 act_err9.27(1.07倍)10.35(1.19倍)

最初に驚いたのは、生のノルムの崩れ方だった。10%段階で約51倍、20%では約781倍になる。削る前の性能を少し保ちながら縮める、という用途には使いにくい結果だ。前回の小さい重みを消す実験の延長で考えていた予想から大きく外れた。

RMSNormの倍率を取り込むと、10%の439.4が33.39、20%の6769.0が140.5になった。倍率を無視することの影響は大きい。ただし、改善しても元から約3.85倍、約16.2倍なので、ここで十分良くなったわけではない。

活性を使う二つは別の水準になった。10%でどちらも約1.07倍、20%で約1.2倍になる。重みだけで順位を付けることと、入力を流してチャネルの働きを見ることの間に大きな差が出た。

actとact_errの差

act_errは10%で9.27、20%で10.35と、actの9.30、10.41よりわずかに良かった。大きな差ではないが、方式選択用のウィンドウでの比較では、この差にも統計的な有意差があったという結果になった。

ただし、集計済みの実験記録では、その差の信頼区間の具体的な端点を掲載していない。この記事で新しく端点を作ったり、重みノルムとの差と同じくらい大きな改善だと扱ったりはしない。方式選択の段階で、小さいが同じ向きの差が確認された、という位置付けになる。

実用的には、少し良い方式を選ぶだけでなく、その選択に必要な計算と実装の複雑さも考えたい。今回はact_errを本番の主方式にしたが、どんな条件でもactより適切だと比較し尽くしたわけではない。別データやもっと強い削除でも同じ優位が続くかは未確認だ。

本番評価における削除率とperplexity

全削除率の結果

MLP中間チャネルの削除率とWikiText-2 perplexity。act_err、倍率込みノルム、ランダムの比較。縦軸は対数。

グラフは実験で使ったSVGを掲載した。横軸は各層で削ったMLP中間チャネルの名目の割合、縦軸はperplexityの対数になる。線の終わりは、その先の性能が同じだったという意味ではなく、評価を行った最後の位置だ。

名目削除率基準の残存幅2倍幅の残存幅パラメータ数act_errランダム倍率込みノルム
0%6144122884.63B9.639.639.63
5%5824116484.55B (−1.8%)9.89(1.03倍)11.16(1.16倍)19.15(1.99倍)
10%5504110084.47B (−3.5%)10.27(1.07倍)13.42(1.39倍)38.42(3.99倍)
15%5248104964.40B (−4.9%)10.69(1.11倍)16.32(1.70倍)—
20%492898564.32B (−6.7%)11.44(1.19倍)23.99(2.49倍)—
25%460892164.24B (−8.4%)12.56(1.30倍)74.81(7.77倍)—
30%428885764.16B (−10.2%)14.18(1.47倍)142.8(14.8倍)—
35%396879364.08B (−11.9%)16.91(1.76倍)——
40%371274244.01B (−13.3%)20.27(2.11倍)——

パラメータ数は読み込んだテキストモデル全体の表示値だ。削る対象はMLPだけだが、分母には削らない埋め込みやattentionも含める。残存幅の削減率と、モデル全体の削減率はこのために一致しない。

活性に基づく選択とランダム選択

act_errでは5%で約1.03倍、10%で約1.07倍、20%で約1.19倍、40%で約2.11倍になった。削っても変わらないという結果ではないが、少ない削除では変化が比較的小さく、強く削るにつれて徐々に悪化している。

ランダムでは5%から約1.16倍、10%で約1.39倍と、同じ幅でも損失が大きい。20%で約2.49倍、25%で約7.77倍、30%で約14.8倍となり、ここで10倍の基準を超えた。選択基準を持たずに幅だけを小さくした場合とは、はっきり違う曲線になった。

同じ出力の形、同じ残存チャネル数でも、何を残すかで予測性能が変わる。これは前回と共通している。ただし、前回は個々の絶対値、今回は実入力での層出力の変化が良かった。残す単位が違えば、有効な重要度の物差しも変わる。

重みノルム方式が悪化した範囲

本番で測った倍率込みノルムは5%で19.15、10%で38.42になった。同じ条件のランダムは11.16、13.42なので、両段階でノルム方式のほうが悪い。何らかのスコアを使って選んでいるから、無作為より良いはずだという期待は成立しなかった。

生のノルムは方式選択用ウィンドウで大きく崩れたが、本番の先頭64ウィンドウでは測っていない。倍率込みノルムの15%以上も未評価だ。方式選択用の439.4を本番の値として表へ入れたり、15%以上を10倍基準で打ち切ったと書いたりはできない。

倍率込みノルムの10%は約4倍で、10倍の基準にはまだ届いていない。そこで線が止まっているのは、次の条件までその基準で測り切ったからではない。保存後に環境の評価速度が落ち、追加の対照を実行しなかったという別の制約がある。

統計的な比較の範囲

act_errとランダムについては、ランダムを評価した5〜30%のすべての段階で、act_errのほうが有意に良いという結果だった。64ウィンドウを単位にした対応ありブートストラップの95%信頼区間で比較している。

対応ありというのは、同じ文章窓で得た損失の差を保って集計することだ。文章によって難しさが違うので、片方だけ難しい窓を多く引いた差と、方式による差を混ぜにくくする。ここで検証しているのは、この評価窓の集合で選び方による差が安定しているかになる。

この結果から、別seedのランダムマスクでも必ず同じ差になるとまでは言えない。今回のseedは一つだ。モデルの再学習によるばらつきも、別言語や別コーパスでのばらつきも入っていない。信頼区間があることを、検証条件の外まで保証が広がったという意味にはしない。

集計された報告では「有意に良い」という判定までを確認できるが、各削除率についての区間端点や検定の詳細な出力は今回の資料に含まれていない。前回の記事で配布したJSONLと同じ粒度の生データを、今回も既に掲載できているわけではない。この範囲の違いも残しておく。

前回の非構造的枝刈りとの比較

同じ削除率ではなく、同じ重み数で比較する

前回の対象はattentionとMLPを含む205行列で、今回の対象はMLPのチャネルだけだ。両方の横軸に10%と書いてあっても、削る重みの総数は違う。そのままperplexityを比較すると、削減予算の違いまで方式の差として数えてしまう。

そこで、今回のチャネル削除と同じ数の重みを、前回の行列ごとの非構造的枝刈りで削った場合を比べた。ただし、前回は5%刻みの点しか測っていない。比較列は、その測定点から補間した値で、今回対応する割合を追加実測したものではない。

今回の名目チャネル削除率act_errの実測perplexity同じ重み数を非構造的に削った場合の補間値
0%9.639.63
5%9.89(1.03倍)9.63(1.00倍)
10%10.27(1.07倍)9.72(1.01倍)
15%10.69(1.11倍)9.89(1.03倍)
20%11.44(1.19倍)10.33(1.07倍)
25%12.56(1.30倍)11.22(1.17倍)
30%14.18(1.47倍)13.37(1.39倍)
35%16.91(1.76倍)21.27(2.21倍)
40%20.27(2.11倍)45.50(4.73倍)

低い削減量では、個々の重みを選べる非構造的な方法のほうが劣化が小さい。10%チャネル削除と同数の重みなら、非構造的な方法の補間値は約1.01倍で、今回の約1.07倍より良かった。まとめて消す制約があるぶん、少量を削るときの自由度が低いと読むことはできる。

大きい削減量での逆転の解釈

35%以上では、表の大小関係が逆転している。35%段階で16.91に対して21.27、40%段階で20.27に対して45.50だった。少なくとも、この対応付けと補間の下では、単純に非構造的な方法がずっと優位だったわけではない。

ただし、これは厳密な方式間の優劣を決める比較にはしない。一方は実測で一方は補間だし、対象範囲、選択基準、校正データの利用も違う。今回のact_errは文章を流して重要度を調べるが、前回の絶対値基準はその情報を使っていない。

特に曲線が急に変わる範囲では、測定点の間を補った値だけから交点の位置を細かく決められない。35%で逆転した、というのは今回表にした段階での話であり、閾値が厳密に35%にあると特定したわけではない。同じ削減数で非構造的な方法を再実測すれば、比較を強められる。

予測性能と実装上の利益を分ける

低い削減量で非構造的な方法が良くても、そのままでは配列が縮まらない。今回のチャネル削除は、やや大きなperplexityの悪化と引き換えに、密行列の形を小さくできる。この違いが、実際に保存・生成する比較へ進む理由になる。

一方で、疎な保存形式や演算を使えば、非構造的な方法にも実装上の利益が出る可能性はある。今回はその比較をしていない。「非構造的な枝刈りでは絶対に速くならない」のではなく、「前回の0にするだけの実装では、その利益を得ていない」という意味だ。

同じ重み予算で予測をどれだけ残せるかと、手元の実行系で速く動かせる形かは、別の軸になる。チャネル削除だけで全部を解決する話ではなく、この二つの軸を同時に測る必要がある。

保存モデルの選択と量子化

10%段階を保存した理由

保存対象は、perplexityの劣化が10%以内に収まる最大の評価段階とした。act_errの10%段階は約1.07倍、15%段階は約1.11倍なので、今回測った段階の中では10%を選んだ。

これはperplexityの許容範囲を決めて選んだ構成で、10%チャネル削除が数学的に最適だと証明したわけではない。10%と15%の間を細かく探索していないし、他の分野の文章でも同じ性能制約を満たすとは限らない。64の倍数という幅の制約もある。

また、同じ本番評価の系列を見て保存する段階を選んでいる。その意味で、本番の先頭64ウィンドウも最終構成の選択に関わる。保存後のperplexityは有用な記録だが、全ての選択から完全に独立した新しい最終テストと呼ぶべきではない。

比較した四つのモデル

比較したのは、元モデルのbf16、10%段階削除のbf16、元モデルの8ビット量子化、10%段階削除の8ビット量子化だ。量子化はmlx-lmを使い、グループサイズ64とした。チャネル削除後の構成にも同じ量子化条件を適用した。

チャネル削除は行列の要素数を減らし、量子化は各重みの表現を小さくする。操作する対象が違うので、組み合わせることができる。量子化だけでも容量が大きく変わるため、削除の追加効果を見るには、同じ量子化条件の元と削除後を比べる必要がある。

指標元・bf1610%削除・bf16元・8ビット10%削除・8ビット
パラメータ数4.629B4.466B4.629B4.466B
重みサイズ9.26GB8.93GB4.92GB4.75GB
生成時のMLXピークメモリ9.61GB9.31GB5.47GB5.29GB
プロンプト処理速度1,533トークン/秒1,637トークン/秒1,687トークン/秒1,794トークン/秒
生成速度16.5トークン/秒17.5トークン/秒29.5トークン/秒32.7トークン/秒
perplexity9.62810.2679.62910.263

8ビット化してもパラメータの個数は変わらない。表でサイズだけが大きく減るのは、保存する数値の表現が変わるからだ。逆に、チャネル削除ではパラメータ数そのものが4.629Bから4.466Bへ減っている。この二つを同じ「小さくなった」とだけ書かず、個数とバイト数を分けておく。

MLPを10%減らしても全体は約3.5%の削減

10%段階のチャネル削除で、bf16重みは9.26GBから8.93GBへ約0.33GB減った。パラメータ数は約0.163B減る。一方、モデル全体に対する削減率は約3.5%で、名目チャネル削除率の10%とは大きく違う。

今回削れるMLPの重みは、比較対象モデル全体の約34%にとどまる。残りの多くは層ごとの埋め込み表と埋め込みで、今回そこには手を付けていない。MLP内部を減らす割合だけ見てモデル全体の効果を期待すると、結果を見誤る。

説明用に、全体の34%に当たる部分を10%減らすなら、全体ではおおよそ3.4%になる。実際の10%段階は幅の丸めで約10.42%なので、約3.5%という記録と方向が合う。この計算は対象構造の割合からの概算で、各要素を数えた保存後の実測値の代わりにはしない。

40%段階まで進めても、全体の表示値は4.63Bから4.01B、削減は約13.3%になる。それに対してperplexityは約2.11倍だった。大きな容量削減を求めてMLPだけを強く削ると、残る大きい構造をそのままに、予測性能の負担が増えていく。

量子化の効果と併用時の追加効果

元モデルを8ビットにしただけで、重みサイズは9.26GBから4.92GBへ、約半分近くまで減った。bf16が2バイト、8ビットが1バイトという単純な計算だけなら半分だが、実際には付随するデータなどもあり、表はぴったり半分ではない。

同じとき、perplexityは9.628から9.629とほとんど変わらなかった。この評価範囲では、10%のチャネル削除よりもずっと小さいperplexity差で、容量への効果は大きい。生成速度も16.5から29.5トークン/秒へ約1.8倍になった。容量を減らすために最初に試す操作という観点では、今回の結果では量子化のほうが有効だった。

量子化と削除を併用すると、8ビットの元モデル4.92GBから4.75GBへ、さらに約0.17GB減った。生成時のピークメモリも5.47GBから5.29GBへ減る。量子化したらチャネル削除の効果が消える、という結果ではなかった。

ただし、削除後の8ビットのperplexity10.263がbf16の10.267より少し小さいことを、量子化による性能改善とは扱わない。差は小さく、ここではその差に対する統計的な判定を示していない。削除による主要な劣化が約1.07倍で残る一方、量子化による追加差はこの表では小さかった、という読み方にとどめる。

推論速度とメモリ使用量

速度測定の条件

プロンプトは512トークン、生成は256トークンに固定した。生成方法は貪欲法で、EOSが出てもそこで打ち切らない。モデルによって早く終了したために測定の出力長が短くなることを避け、同じ長さを処理する条件で比べた。

測定は2回の起動でそれぞれ3回、計6回行い、表には中央値を載せた。一度だけの最速値や、異なる出力長の処理時間ではない。生成速度については、元モデルと削除後モデルの観測範囲が重ならなかったという記録がある。

ただし、6回の個別値や範囲の上下端は今回の集計には含まれていない。ここから速度差の信頼区間を新しく計算したり、どの実行でも同じ割合で速いと主張したりはしない。少なくとも、この固定長の測定で削除後が速い傾向を繰り返し観測したという結果になる。

プロンプト処理と生成の差

bf16では、プロンプト処理が1,533から1,637トークン/秒へ約6.7%向上し、生成は16.5から17.5へ約6.3%向上した。8ビットではプロンプト処理が1,687から1,794へ約6.3%、生成が29.5から32.7へ約10.7%向上した。

同じモデルでも入力をまとめて処理する段階と、1トークンずつ生成する段階では演算の形が違う。したがって、二つの速度を別々に記録する。今回の測定だけでは、どのカーネルやメモリ転送がどの程度効いたかまでは切り分けられないが、プロンプトの速度差だけから生成の速度差を代用することはできない。

また、重みが3.5%減ったから、時間も必ず3.5%だけ減るという単純な関係ではない。モデル全体には削らない計算があり、行列の幅や量子化条件も実装上の性能に関わる。測定された高速化を、どんな実行系でも再現する比例則として扱わない。

絶対時間としての改善量

速度の改善率だけ見ると、体感が分かりにくい。表示値を使った説明用の計算として、256トークンの生成部分だけを割ると、bf16の元は約15.5秒、削除後は約14.6秒になる。8ビットでは約8.7秒から約7.8秒になる。

これは表の丸めた速度から出した概算で、実際のエンドツーエンド処理時間を別に測った値ではない。モデル読み込み、校正、入力の準備、プロンプト処理、UIの表示などを含まない。削ったモデルを初回起動してから回答を得るまでの時間が、この数字になるわけではない。

それでも、6〜11%という割合が、今回の256トークン条件では生成部分の約1秒弱の差に当たることは読み取れる。何度も使うなら積み重なるが、そのために許すperplexityの悪化と、準備にかかる費用も一緒に考える必要がある。

ピークメモリの比較

bf16の生成時ピークは9.61GBから9.31GBへ、約0.30GB減った。8ビットでは5.47GBから5.29GBへ、約0.18GB減っている。重みサイズの差と近い方向には動くが、ピークメモリは重みのバイト数そのものではない。

生成ではキャッシュや一時バッファなども必要になる。今回の表は固定した入力長と生成長の条件での測定だ。さらに長い文脈を使えば、削らなかったattention側のキャッシュなどが占める比率も変わり得る。短い測定での削減量を、長文条件の総メモリへそのまま当てはめない。

メモリ16GBの環境では、数百MBにも意味がある場合はある。ただし、今回の3.5%縮小だけで、もともと大幅にメモリを超えるモデルが扱えるようになるわけではない。大きい効果が必要なら量子化のほうが効いた、という先ほどの比較と合わせて読む。

生成内容に現れた変化

perplexityだけでは扱えない品質

同じプロンプトで生成を1例だけ比べたところ、元モデルはプロンプトに含まれていた「2004年にCraig役」という事実をそのまま引いて続けた。一方、削除後のモデルは役名や回の名前を作って続けた。

これは生成例1件の観察で、誤り率を統計的に測った実験ではない。元モデルが常に正しく、縮小後は常に誤るとまでは言えない。ただ、perplexityが約7%しか悪化していないから、実際の出力も気にせず置き換えられる、と判断するには不十分だった。

今回はその1例の原文全体を再掲できる記録をこの記事には付けていないので、新しい引用文を作って比較表にすることもしない。観測した差の内容と、比較件数が1件であることだけを明記する。

小さい平均差と、用途上の許容性

perplexityは評価した多数の次トークン予測を平均した指標だ。ある情報を正確にコピーする能力、会話の一貫性、コードが実行できるかといった用途ごとの条件を、その一つで代用できるわけではない。平均の変化が小さくても、特定の入力で大きな差になる可能性がある。

逆に、生成例に一つ失敗があったことだけで、全ての用途で使えないと決めるのも早い。どの用途で使うかを決め、その条件で十分な入力数を試す必要がある。ここでは速度・容量と引き換えに品質の変化があることを確認した段階で、実用上の採用判定はしていない。

この点では、10%以内のperplexity悪化という保存条件も、自分が今回の実験のために置いた基準にすぎない。事実の抽出を間違えないことが必要な用途なら、その評価を別に足さないまま許容範囲だとは呼べない。

検証途中の環境変化と未評価条件

保存後の評価速度低下

モデルを保存した後、評価が普段の約8倍遅くなる場面があった。そのときSpotlightの索引処理がCPUを約85%使い、スワップも増えていた。これらが速度低下の原因だと考えられるが、索引処理の有無だけを変えた対照測定まではしていない。

この影響もあり、生のノルムを本番窓で測ることと、倍率込みノルムの15%以上の評価は行っていない。未評価を失敗値や無限大で埋めない。方式選択で悪かったことと、本番データでその値を測ったことは別だからだ。

速度測定の表と、環境が悪化した状態での遅いperplexity評価を混ぜて、「削除後に8倍遅くなった」と解釈するのも違う。前者は固定条件で複数回比較した生成測定、後者は追加評価を続けにくくなったときの環境観測になる。

校正と本番入力のずれ

活性を利用する方式は、校正に使った文章がどんな入力かに依存する。WikiText-2の学習分割で反応が小さかったチャネルが、別の言語やコード、特殊な記号列でも重要でないとは限らない。今回のテストも同じデータセットの文章なので、その外への一般化には制約がある。

校正用の64ウィンドウが十分だったのか、違う64個を選んでも残るチャネルが似るのか、校正量を増やすと性能が改善するのかは調べていない。活性を測るという選択がノルムより良かったことと、その校正方法が最適だったことは分けておく。

また、方式選択用と本番用の窓は分けたが、最終的に保存する削除率は本番の系列を見て選んだ。完全に固定した構成を新しいデータで評価する追加試験をすれば、保存モデルの汎化についてもう一段確かな記録にできる。

結果の解釈

重みの大きさを重要度とする仮説の評価

今回の第一の仮説、重みのノルムで弱いチャネルを選べば学習なしでも実用的に縮小できる、という見通しは、今回の選択基準では支持されなかった。10%段階の倍率込みノルムでも、ランダムの1.39倍に対して3.99倍だった。

理由の一つとして考えられるのが、正規化の倍率や入力分布を無視すると、生の重みの大きさが実際のチャネル寄与を表さないことだ。倍率を取り込んで大きく改善したことは、この見方と整合する。ただし、それだけで原因を完全に説明したとは言わない。

倍率込みでもランダムより悪いので、入力に対して強く働くチャネルを、重みだけの尺度が低く順位付けしてしまう可能性がある。これは結果からの解釈であり、今回の資料には、各チャネルのスコアと出力寄与の相関を全面的に分析した結果はない。どのチャネルが原因だったかの特定は次の課題になる。

前回は絶対値が有効だったのに、今回はノルムがうまくいかなかった。この違いを、重みの大きさに意味がないという一般論に広げる必要もない。個々の要素を選ぶことと、非線形に組み合わされるチャネルを丸ごと選ぶことでは、残す条件が違うという結果として扱う。

活性に基づく仮説の評価

第二の仮説、実際の入力でチャネルの寄与を見ることで劣化を抑えられる、という方向は今回の比較では支持された。actとact_errは方式選択でノルムより大幅に良く、本番のact_errも測定した全範囲でランダムより良かった。

ただし、ここで支持されるのは、今回のモデル、校正データ、削除方法、評価範囲での比較だ。活性の指標を使えば全ての構造的な枝刈りにそのまま使える、とは言わない。また、単独チャネルの局所的な出力変化が小さいことと、複数層を削ったモデルの長い生成が安定することは別だ。

それでも、重みだけを見て失敗した後、入力を流して働きを測ると結果が改善した、という検証の流れには意味があった。実装しやすいから選んだスコアが、目的に近い物差しへ変えることでどれくらい良くなるかを、同じチャネル幅の条件で比べられた。

実際に縮小・高速化できた範囲

保存した10%段階のモデルでは、行列とパラメータが小さくなり、生成時のメモリも減り、速度も上がった。前回の単に0を増やす実装から、実際の形状を縮めるところまで進めたことが、今回確認できた違いになる。

しかし効果の大きさは控えめだ。MLPだけを対象にしたため、全体の重量は約3.5%しか減らない。bf16の生成速度は約6.3%向上したが、perplexityは約1.07倍で、生成例に不都合な変化もあった。容量・速度・品質を同時に改善できたわけではない。

量子化は容量をほぼ半分にし、このWikiText-2評価ではperplexityの変化が小さかった。今回の環境で、まずサイズを減らして使いたいという目的なら、その効果のほうが大きい。チャネル削除は、量子化の代わりというより、そこに追加できる小さな調整として評価するほうが近い結果だった。

再現性に関する記録と今後の検証

現在の記事で確認できる資料

この記事は今回の実験報告に基づき、表の値とグラフを整理したものだ。自分が実験した結果として記載しているが、記事執筆時の追加実行や、独立した再現実験を行ったという意味ではない。コードの所在は実験プロジェクト内のexperiments/gemma4_e2b_mlp_channelsで、前回のgemma4_e2b_pruningとは別になる。

集計表の機械可読データも置いた。これは実験報告の丸め値を転記したもので、生の測定データではない。現時点で記事に掲載しているのは集計値で、個別速度試行、ウィンドウごとのNLL、チャネル重要度の配列、残存マスク、保存モデルのhashまでは添付していない。前回配布した生データから今回の信頼区間や保存モデルを再生成できるわけでもない。

使用版のMLP実装から確認できる構造と、実験報告で確認した結果、結果から考えた解釈を分けて説明した。未共有のコードの細部を想像して、実行できる再現コマンドとして掲載することはしていない。

再現のために残しておきたい情報

次に資料を整理するなら、モデルrevision、依存ライブラリの版、校正用テキストの取り出し方、重要度の集計単位、各層の残存チャネルを合わせて固定したい。同じact_errという名前でも、何を正規化し、どの位置の出力を比べ、どの入力で平均するかが違えば順位が変わり得る。

速度は中央値だけでなく、2回の起動に分けた6回の個別値、読み込みやウォームアップの扱い、実行順序、キャッシュ設定、計測時のメモリ状態も残すとよい。今回の集計値を否定するためではなく、別の日や別のMacで同じ傾向が出るかを確かめやすくするためだ。

生成例も、プロンプトと両モデルの継続をそのまま保存し、同じ条件で並べたい。特に1例の観察から、事実を誤る頻度がどの程度増えたかまでは言えないので、入力数を増やした確認が必要になる。

追加で調べたい条件

まず、ランダムマスクと校正データの両方でseedや取り出し方を変え、今回の差がどれくらい安定するかを測りたい。チャネルを選ぶ方式の差と、たまたま選んだ文章やマスクの差を分けられるようにする。

次に、全層同率の制約を緩め、限られた削減予算をどの層へ割り当てるかを調べたい。今回の幅のそろえ方には読み込みやすさという利点があるが、全層が同じ割合に耐えるとは限らない。精度のために幅を可変にするなら、保存形式や実装も含めて考える必要がある。

品質の評価では、WikiText-2以外の文章、情報抽出、コード、長文の条件を増やしたい。次トークン予測が少し悪化したという一つの数値だけで、どの用途まで許せるかを決めないためだ。画像と音声の動作は、今回保存したテキストモデルの評価範囲に含めない。

最後に、削除後の微調整でどのくらい回復するかという問いもある。ただし、それを試したら「学習なし」という今回の条件とは別の実験になる。回復後の精度だけでなく、学習の費用やデータ、その後の速度と容量まで含めて記録する必要がある。

結論

今回はMLPチャネルを削り、行列そのものを小さくしたGemma 4 E2Bを保存して比較した。重みノルムだけの選択はうまくいかず、校正用テキストで層出力への影響を測るact_errが良かった。10%段階の削除では、モデル全体の重みサイズを約3.5%減らし、生成速度をbf16で約6.3%、8ビットで約10.7%上げられた一方、perplexityは約1.07倍へ悪化した。

大きく容量を減らすには、今回の結果では8ビット量子化のほうが効いた。量子化とチャネル削除は併用できるが、削除したモデルの生成例には元と違う誤りもあった。小さく保存できたこと、速く計算できたこと、実際の用途で同じように使えることは、別々に確認する必要がある。

前回は「どの重みを0にしても予測が残るか」を調べた。今回はそこから、手元の実行系で小さい行列として扱うところまで進められた。劇的な軽量化ではなかったが、選び方を変えるだけで結果が大きく違い、容量と速度にも差が出るのは面白かった。次は品質の変化をもう少し広い入力で確かめたい。