前回はGemma 4 E2BのMLPチャネルを丸ごと削り、小さい行列として保存した。10%段階の削除では、モデル全体の重みサイズは約3.5%減った。生成も少し速くなったが、MLPはモデル全体の約34%しかない。そこだけ頑張って削っても、モデル全体はなかなか小さくならない。

今回は二つ試した。一つは、英語と日本語で使うトークンを中心に語彙を絞り、大きな埋め込み表を小さくすること。もう一つは、MLPの削除総数をそろえたまま、層ごとに削る割合を変えることだ。どちらも重みを更新する学習はしていない。

語彙を64kへ絞ると、テキストモデルのパラメータは4.629Bから2.565Bへ44.6%減った。bf16の重みは9.26GBから5.13GBになった一方、同じ文字列を予測する損失は英語で約3.4%、日本語で約1.1%悪化した。MLPの層別配分も均等削除より良くなったが、縮む量は控えめだった。今回は、どこを削るかで容量への効き方がずいぶん違った。

大きかったのは語彙に比例する表だった

対象はGemma 4 E2Bのテキスト部分。環境はApple M3、メモリ16GB、MLX、mlx-lm 0.32.2で、前回と同じだ。画像・音声の機能を含む元ファイルの容量と、テキストモデルの容量は混ぜない。

語彙数は262,144。入力の埋め込み表は出力層と重みを共有し、さらに層ごとの入力に使う埋め込み表がある。使用版の実装でも、embed_tokens、embed_tokens_per_layerと、出力に埋め込みの重みを使う処理を確認できる。この二つの表を合わせると、実験で数えたパラメータの約6割、約2.75Bを占めていた。

報告にある概算は、残す語彙数をVとして約1.88B + V × 10,496。MLPの一部分より、こちらを減らすほうが全体の容量には効きそうだ。ただし、出せるトークンを削るので、使う言語や文章によって代償が変わる。

英語と日本語から残す語彙を選ぶ

英語はWikiText-2の学習分割で約246万トークン、日本語はWiki40B-jaのvalidation分割で約2,461万トークンを数えた。両言語の相対頻度を平均し、その値が高いものを優先する。生の出現回数を足すと、今回の大きな日本語コーパス側へ偏るためだ。

特殊トークンと256個のバイトトークンは残し、64k、32k、16kの三段階を作った。以下の64kなどは実験で使った段階名である。

表の行を切り出すだけでは終わらない。元のIDと新しいIDの対応を作り、二つの埋め込み表、出力側、トークナイザーをそろえる必要がある。トークナイザーにはBPEの結合規則もあるので、最終的に残したいトークンだけ選んでも、それを作る途中の部品が無ければ同じ分割にはならない。

今回は、残す各トークンの文字列を単独でBPEにかけ、その途中で必要になるトークンも残す形にした。結合規則は、二つの部品と結合後のトークンがすべて残るものを、元の順番で残す。あるトークンを作りうる結合をすべてたどる方式は、複数の結合経路があるトークンが約16万個あり、今回の方法には使えなかった。

削ったトークンを含む文字列も、細かい断片やバイトへ分かれるので、直ちに未知トークンになるわけではない。ただ、同じ文章を表すトークン数は増える。表現できることと、元と同じ分割・品質で扱えることは別になる。

ロジットが同じでも、分布は同じではない

残したトークンだけで書ける入力なら、対応する埋め込みの値は元と同じままだ。報告では、元のモデルと切り出したモデルについて、未見の6段落、855か所で、残したトークンのロジットの差が0だった。

ここで同じなのは、対応する出力候補のスコアだ。softmaxは残った候補だけで正規化し直すので、候補が減れば確率分布は変わる。削ったトークンへ元のモデルが確率を割り当てていたことや、入力の分割が変わることは、そのまま品質に影響する。ロジットの一致だけから、元と同じ文章を出すとは言えない。

「未見の文章の99.9%以上のトークンを元と同じに表せる」という見通しも立てたが、これは外れた。

残す語彙英語の語彙外率英語のトークン数増加日本語の語彙外率日本語のトークン数増加
64k1.45%+1.6%0.33%+0.4%
32k5.69%+7.0%1.12%+1.6%
16k12.86%+18.9%3.43%+4.9%

ここでの語彙外は、元の分割に現れたトークンのうち削った語彙に当たる割合で、文章を符号化できなかった割合ではない。選定には使っていない各データセットのテスト分割で測っている。

64kの英語で語彙外になったトークンのうち42%は、選定用の文章に一度も出なかったものだった。固有名詞の断片などがあり、英語の選定用テキストが小さかったことは原因の候補になる。ただし、語彙を選び直して確かめた結果ではない。

元の分割が残した語彙だけで済む段落については、縮小後も分割が一致した。64kでは英語1,401/1,401段落、日本語43,879/43,879段落で確認した。この分母は条件を満たす段落の数で、評価した全段落が無条件に一致したという意味ではない。

分割が変わるので、品質はBPBで比べる

トークンを細かくすると、1トークンあたりの予測の難しさも変わる。元と縮小後のperplexityをそのまま並べても、同じ単位の比較にならない。

そこで同じ文字列の負の対数尤度をビットへ直し、バイト数で割ったBPB、bits per byteで比べた。小さいほど良い。評価はWikiText-2とWiki40B-jaのテスト分割から各約6.6万トークン相当の文章を使い、語彙を変えても段落の区切りはそろえた。

残す語彙英語BPB元からの変化日本語BPB元からの変化
元の262,1440.801—0.780—
64k0.829+3.4%0.789+1.1%
32k0.933+16.5%0.818+4.9%
16k1.200+49.7%0.907+16.3%

64kのBPB差は英語が+0.0275、95%信頼区間は[+0.0235, +0.0317]。日本語は+0.0087、[+0.0060, +0.0116]だった。段落を単位とした対応ありブートストラップ10,000回の結果で、どちらも小さいが有意な悪化になった。表示値は丸めているので、表の引き算と報告の差は末尾まで一致しない。

64kで元のモデルが削除対象へ置いていた確率は、報告値で英語1.7%、日本語0.6%だった。32k、16kへ進むと、この値もBPBの悪化も増えた。語彙の大半を削れるからといって、際限なく減らしてよいわけではなかった。

64k版はかなり小さくなった

64k版を保存し、bf16と8ビット量子化で元のモデルと比べた。

指標元・bf1664k・bf16元・8ビット64k・8ビット
パラメータ4.629B2.565B4.629B2.565B
重みサイズ9.26GB5.13GB4.92GB2.73GB
生成時ピークメモリ9.61GB5.48GB5.47GB3.28GB
生成速度18.3 token/s21.0 token/s31.5 token/s37.4 token/s

パラメータは44.6%減。生成速度はbf16で約14.3%、8ビットでは約18.8%上がった。元と縮小版を交互に2回ずつ起動し、報告では生成速度を各構成6回の中央値で比較している。今回の試行では元と縮小版の速度範囲は重ならなかった。

ただし、今回の報告には入力長・生成長や各試行の個別値まで付いていない。前回の記事の512入力・256生成という条件を、確認なしに今回の条件として流用しない。token/sは出力の単位も変わるので、同じ文章を完成させる速さの比較には、文字数やbyte/sなども欲しい。

8ビットを重ねると重みは元のbf16の9.26GBから2.73GBへ減る。一方、先ほどのBPBは語彙削減についての測定で、語彙削減と8ビット量子化を重ねたモデルの品質は直接測っていない。前回は8ビット単独のperplexity変化が小さかったが、今回の併用でも同じとはまだ言えない。

MLPは、削る総数を変えずに配分を変えた

もう一つ試したのが、前回のMLPチャネル削除の続きだ。全35層から同じ割合を削る制約を外し、影響の小さい層へ多く割り当てたらどうなるかを見た。

層内でどのチャネルを選ぶかは、前回と同じact_err。チャネルを外したときの層出力への影響が小さいものから選ぶ。今回変えるのは、各層から何本削るかだ。

まず各層を単独で25%、50%削り、平均NLL、負の対数尤度の増加を測った。35層×2段階で70回。配分を決めるための測定はWikiText-2テストの65〜96番目の32ウィンドウ、比較結果は前回と同じ先頭64ウィンドウで評価した。両者は重ねていないが、どちらも同じテスト分割の一部ではある。

各層の0%、25%、50%の三点から、損失増加の下側の凸包を使った折れ線を作り、64チャネル単位で貪欲に削除を割り当てた。感度に基づく配分では1層あたり最大50%。削る総数は、均等削除の10%、15%、20%、30%段階とそろえた。

最後の層は削りにくかった

25%削除で、最終層の層34は平均NLLが+0.042。次に大きい層12の+0.0090と比べても約5倍だった。一方、層0、1、14はほぼ0〜+0.001。同じ割合を削っても、影響は層によってかなり違った。

ただし、単独の悪化を足せば全層同時の悪化が分かる、という見通しは少し外れた。全層から25%ずつ削るとNLL増加は+0.281、単独測定の合計は+0.183で、約1.53倍だった。事前に置いた許容範囲の上限1.5倍を少し超える。配分の手掛かりにはなっても、独立した部品の足し算として正確に扱えるわけではなかった。

それでも、実測した感度を使った配分は、今回比較した全段階で均等削除より良かった。

均等削除での段階に相当する総数全層均等のperplexity感度に基づく配分統計だけの配分・報告値
10%10.2710.1811.38
15%10.6910.51—
20%11.4411.0112.60
30%14.1812.7114.61

刈らない状態は9.628。報告では64ウィンドウを単位とした対応ありブートストラップ10,000回で比較し、感度に基づく配分は四段階すべてで均等より有意に良かった。差は削る量が多いほど大きくなっている。

一方、校正で得たact_errを層間で比較する安い方法はうまくいかなかった。層ごとに正規化する方法と、そのまま比べる方法を試したが、実測配分との順位相関は-0.30〜0.14だった。正規化した方法では、最も敏感だった層34から80〜91%を削ろうとしていた。これは先ほどの最大50%に制約した感度配分とは別の対照だ。

表の統計だけの配分は報告の集計値をそのまま載せた。正規化あり・なし双方の数値を別々に再現できる資料は付いていないので、この列だけで二方式の細かい優劣までは決めない。少なくとも、層内で有効だった尺度をそのまま層間の削減予算へ使うのは危なそうだった。

保存したのは15%相当の配分

今回調べた段階のうち、元からのperplexity悪化10%以内で削除量が最大だった15%相当を保存した。均等の15%は約11.1%悪化し、感度配分の15%は約9.2%悪化したためだ。

指標元均等10%感度配分15%
パラメータ4.629B4.466B4.401B
生成時ピークメモリ9.61GB9.31GB9.18GB
生成速度18.5 token/s19.8 token/s20.3 token/s
perplexity9.62810.26710.511

感度配分15%でパラメータは約4.9%減、生成速度は元より約9.8%上がった。速度は別々に起動したプロセスの中央値で、先ほどの語彙削減とは別の測定系列だ。元のモデルの速度も18.3と18.5で違う。表をまたいで数値を割り、二つの手法の性能差を厳密に比べることはしない。

また、均等10%から感度配分15%へ進むと、より小さくなる代わりにperplexityは10.267から10.511へ悪くなる。同じ削除総数なら配分の変更で改善したが、この保存モデル同士では品質まで同じではない。

層ごとに幅が違うモデルは、前回のように一つのintermediate_sizeだけでは表せない。今回の保存物にはmlx-lm用のモデル定義を同梱し、読み込みにはtrust_remote_code=Trueが必要になった。少し多く削れる代わりに、標準構成だけで読み込める扱いやすさは失う。

まだ組み合わせた結果ではない

語彙削減は大きな表の容量に効き、MLPの層別配分は同じ削減予算での劣化を抑えた。ただし、この二つを同時に適用したモデルは今回の報告では評価していない。削減率や高速化率を足したり掛けたりして、完成モデルの性能として書くことはできない。

語彙の評価も英語・日本語のWikipedia由来の文章でのBPBに限る。会話、コード、情報抽出、他言語、珍しい記号では確認していない。MLP配分はWikiText-2のperplexityだけで、保存する段階の選択にも同じ評価結果を使っている。選択から独立した追加テストや、別の文章での安定性は残っている。

今回の表は実験報告の集計値を整理したものだ。丸め値を転記した機械可読データも置いた。語彙削減のコードの所在はexperiments/vocab_trim、層別配分はexperiments/gemma4_e2b_mlp_channels/layer_alloc.pyと報告されているが、今回の執筆環境ではコード本体、Issue、PR、単体テストを照合できていない。新しい実行や独立した再現を行った記事ではない。

語彙一覧、ID対応表、BPE結合規則、モデルrevision、保存モデルのhash、段落・ウィンドウごとの損失、個別速度試行も未添付だ。集計表から信頼区間や保存物を作り直せるわけではない。このあたりをそろえると、容量だけでなく、何を残すためにどこまで削れるかを別の条件でも確かめやすくなる。

前回はMLPを削っても全体では3.5%しか減らず、ちょっと地味だなと思っていた。今回は語彙を絞ると容量がかなり減った。一方で、MLPも全層均等という手軽な制約を外すだけで残せる性能が変わった。削れる場所を探すことと、削ってよい量を測ることの両方が必要だった。