The Lottery Ticket Hypothesisを読んで、大きなニューラルネットワークの中に、どれくらい小さくしても使える部分があるのか気になった。手元のMacで動かせるGemma 4 E2Bで、実際に重みを刈ってみた。

先に結果を書くと、絶対値の小さい重みを行列ごとに削る場合、対象の20%を削ってもperplexityの悪化は約1.13倍だった。一方、30%で約2.19倍、40%で約29.3倍と、その先は急に崩れた。ランダムに削ると10%で約13.4倍になる。同じ数を削るにしても、どれを残すかでかなり違う。

ただし、今回は再学習していない。宝くじ仮説そのものの再現実験ではなく、それをきっかけに試した、学習済みモデルの枝刈りの記録になる。

宝くじ仮説の概要

この節ではFrankleとCarbinによる原論文の内容を解説する。後半のGemma 4 E2Bの枝刈りは、論文を読んで手元で行った別の検証として記載する。

元になったのは、Jonathan FrankleとMichael Carbinの「The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks」。ICLR 2019の論文で、ここでは2019年3月4日のv5を読む。以下の節番号・図番号・付録番号もこの版に合わせる。論文の読書メモをもとに、今回の実験で何を試せて、何を試せていないか分かるところまで説明しておく。

原論文の背景:モデル圧縮と学習可能性

ニューラルネットワークの枝刈りは、学習済みの重みの一部を取り除くことだ。たとえば、ある層から次の層への結合を0にして、そこでは情報を渡さないようにする。全部のニューロンを残したまま結合だけがまばらになるなら、ネットワークは疎になる。

大きいモデルから不要そうな結合を消しても性能が保たれるなら、最初からその小さい構造を用意して学習すれば、最初の大きなモデルはいらないように見える。保存や推論だけでなく、学習も小さいモデルで済ませたい。この素朴な疑問が論文の出発点になっている。

ただ、学習の最後に小さくできることと、小さい状態から学習を始められることは別だ。大きいモデルで一度学習したからこそ、残すべき結合が分かったのかもしれない。残った結合の値そのものに、学習で得た情報が入っているのかもしれない。同じ形の小さいモデルを作り直しても、同じように学習できるとは限らない。

ここで分けたいのは、「最終的な答えを表現するのに必要な大きさ」と「その答えにたどり着く学習を進めやすい大きさ」だ。前者だけなら小さくても足りるとして、後者では大きさが役に立つかもしれない。宝くじ仮説は、このずれを初期値と部分ネットワークから考える。

たとえば、山道を歩き終えてから通った道だけを地図に残すのと、初めからその細い道だけを知って歩き始めるのは違う。これは理解のためのたとえで、最適化が実際に道を一本選ぶという主張ではない。最終的な構造が小さいという事実から、そこへ至る過程まで不要だったとは言えない、という区別になる。

当選チケットの定義

論文でいう当選チケットは、学習済みの重みをそのまま小さく切り出したものではない。元の大きなネットワークに最初から含まれていた結合の一部と、その結合に割り当てられていた学習前の初期値の組だ。

元の初期値をθ₀、残す結合の位置を示すマスクをmと書く。マスクは各重みに対して0か1を持ち、0の位置は使わず、1の位置は使う。すると、小さいネットワークの初期値はm ⊙ θ₀になる。⊙は要素ごとの掛け算だ。接続の形を決めるのがmで、出発時の値を決めるのがθ₀になる。

この部分だけを単独で学習させて、元の大きなネットワークと同じくらい少ない反復回数で、同等以上のテスト精度に届くなら、当選チケットと呼べる。少ない重み、精度、学習に必要な反復回数の三つを一緒に見ている。単に小さいモデルが何となく学習できた、という条件ではない。

本文第1節の定義では、元のネットワークが検証損失の最小値に達する反復をj、その時点のテスト精度をaとする。小さいネットワーク側をj′とa′にすると、求めるのはj′ ≤ jかつa′ ≥ aで、残った重みの数は元より十分少ない、という条件だ。

「宝くじ」という名前から、すでに正解が書かれた重みが初期状態に埋まっているようにも感じる。でも、初期値のままで分類できるという話ではない。そこからちゃんと学習する必要がある。うまく学習できる出発点を持った部分が含まれている、という意味での当選になる。

また、存在すると言うことと、学習前にその位置を知っていることは違う。論文の方法は、一度大きなネットワークを学習させてから、その結果を手掛かりにチケットを探す。初期値だけを眺めて正解のマスクが分かる、というアルゴリズムではない。

学習・枝刈り・初期値へのリセット

中心になる操作は四つある。まず大きなネットワークをランダム初期化し、その初期値を保存する。次に学習する。学習後の重みの絶対値を見て、小さい結合を削る。最後に、残った結合の値を、保存しておいた元の初期値へ戻す。

ここで絶対値を使うのは、正負ではなく大きさで結合を選ぶためだ。たとえば-0.8と0.01なら、0に近いのは後者になる。ただし、絶対値が小さいことが、どのモデルでも重要度の低さを完全に表すとは限らない。この論文では、そうした単純な基準で見つけた部分ネットワークがどう学習するかを調べている。

重要なのは、選ぶときと学習し直すときで、見ている重みの時点が違うことだ。マスクを作る判断には学習後の値を使う。一方、疎なネットワークを再び学習するときの出発点には、学習後の値を持ち越さない。同じ位置にあった学習前の値へ戻す。

学習後の重みから残す位置を選び、保存しておいた学習前の値へ戻して再学習する。

学習後の値を保ったまま微調整するなら、学習で獲得した値を使って性能を回復する実験になる。初期値へ戻しても学習できるかを見ることで、学習済みの値を持ち越した効果と、構造・初期値の組が持つ効果を分けやすくしている。自分のGemmaの実験と大きく違うのは、まさにこの部分だ。

単発枝刈りと反復的枝刈り

一度学習して、必要な割合をまとめて刈り、残りを初期値へ戻す方法をone-shotと呼ぶ。それに対し、論文が主に使う反復的枝刈りは、学習・枝刈り・初期値へのリセットを何ラウンドも繰り返す。前のラウンドで残った結合の中から、次に削る位置を選ぶ。

たとえば説明用に、毎回残っている重みの20%を削るとする。残る割合は1回目で80%、2回目で64%、3回目で51.2%になる。毎回元の全体から20ポイントずつ引くわけではない。均一な割合を仮定したこの計算は0.8ⁿで書ける。ただし実験では出力層などの割合が違うので、ネットワーク全体がこの数列にぴったり一致するとは限らない。

段階を踏むことで、いきなり強く刈る場合より小さい当選チケットを探せるというのが論文の結果だ。一度で不要な結合を全部選ぶより、少し狭くしたネットワークでまた学習し、その状態で残すものを選び直すほうが、探し方としてうまく働いている。

付録Bでは、毎ラウンド初期値に戻す方式と、学習済みの値から学習を続けながら刈って、最後に一度だけ初期値へ戻す方式も比較している。どちらも最後には初期値からの学習を試すが、マスクを発見する途中の経路が違う。LenetとConv系では、毎回戻す方式のほうが、小さいサイズまで精度と速い学習を保った。

つまり、最終的にどれだけ残ったかだけを見ても十分ではない。そのマスクを、どの学習経路から得たのかが効いている。一方で、これだけのために何度も学習し直すので、発見の費用は大きい。小さいチケットを一度学習する費用と、チケットを探し当てるまでの費用は分けて数える必要がある。

対照実験:ランダム疎構造とランダム再初期化

この論文を読むとき、ランダムという言葉の対象を分けるのが大事だった。一つは、残す位置そのものをランダムに選んだ疎なネットワーク。もう一つは、枝刈りで見つけたマスクは固定して、残った位置の初期値だけを新しくランダムに引き直したネットワークだ。

後者なら、結合の形は当選チケットと同じになる。違うのは、その位置に元からあった値を使うか、別の値に置き換えるかだ。その比較で差がつけば、構造だけでは説明しきれない。元の初期値との組み合わせが役に立っている、と考える材料になる。

ただし、この比較で「構造は無意味」とまでは言えない。マスク自体を学習結果から選んでいるし、中程度の枝刈りでは、引き直しても精度が保たれる場合もある。構造と初期値の両方が候補で、削る強さや学習条件によって、それぞれの効き方が変わると読むほうが自然だと思う。

自分の後半の実験で使うランダム方式は、学習済みモデルの重みをランダムに0にする比較になる。論文のランダム再初期化とは、操作する時点も、変更するものも違う。同じ「ランダム」という名前だけで結果を並べると、この違いが隠れてしまう。

学習速度と精度の評価方法

論文の前半では、検証損失が最も小さくなった反復を、学習の速さの代理にしている。検証損失は、学習に使っていない検証データで予測のずれを見る値だ。学習を続けると、訓練データには合わせられても検証損失はまた増えることがある。その底にどのくらい早く届くかを見る。

この反復を早期終了点と呼び、そのときのテスト精度も測る。付録Cに評価の考え方がある。小さいモデルの訓練損失が早く下がっただけでは、まだテスト精度まで保てたことにはならない。速さと精度の両方を見る必要がある。

注意したいのは、この早期終了点が、枝刈りするための学習をその場で打ち切る指示ではないことだ。たとえばLenetでは、各ラウンドの学習は決めた50,000反復まで行う。記録した検証損失を使い、後から最小だった時点を評価する。マスクの選択に使う学習後の重みと、早期終了点の測定を混ぜないようにしたい。

反復回数が少ないことは、壁時計時間が同じ割合で短いことでもない。疎な重みを通常の密な配列で計算していたら、重みの数が減っても1反復の処理は同じように走るかもしれない。「38%早い」といった数値を読むなら、何の回数が減ったのかを確認する必要がある。

本文の主要な曲線は複数試行の平均で、図のエラーバーには最小値と最大値が使われている。信頼区間と同じものではないし、最良の1回だけの記録でもない。再初期化ではさらに引き直しを行っている。後半で使うウィンドウ単位のブートストラップとは、ばらつきの対象からして違う。

MNISTにおける全結合ネットワークの実験

第2節のLenetは、手書き数字のMNISTを分類するLenet-300-100という全結合ネットワークだ。ここでの名前から、畳み込みのLeNet-5を想像すると違う構成になる。隠れ層が300、100、その後に10クラスの出力が続く。

この実験では、学習後の絶対値を層ごとに見て刈る。基本の枝刈り率は1ラウンド20%で、出力につながる重みはその半分の割合にする。初期化にはGaussian Glorot、基本設定の最適化にはAdamを使い、50,000反復学習する。入力と出力の条件を固定した上で、どれだけ残すと学習曲線が変わるかを追っている。

残っている重みの割合はPₘと書かれる。ここが少し紛らわしく、Pₘ = 20%は「20%削った」ではなく、「20%残った」、つまり80%削った状態だ。後半の自分のグラフは削った割合を横軸にしているので、向きが逆になる。

Lenetで面白いのは、削るほどただ悪くなるわけではないことだ。最初の何ラウンドかは、残す重みが減るにつれて学習が速くなり、テスト精度も上がる。その先まで削ると、再び学習が遅くなり、最後には精度も落ちていく。大きいモデルを上限に、そこから劣化するだけの曲線ではない。

本文は、21%ほど残した場合の早期終了が元より38%早いと報告し、3.6%ほどまで小さくしても元と同水準になるとしている。ただし、この38%は論文本文の報告値として扱う。読書メモではFig.4の平均曲線との数値差が指摘されており、ここで図から独立に同じ値を再現できたとはしていない。

この結果を「元の96%はいつでも不要」と読むのは強すぎる。その小さい構造は元のモデルの学習結果を使って発見され、元の初期値と組で試されている。使ったデータ、最適化、反復回数まで含めた実験で成立した結果だ。削った瞬間に学習前の小さいモデルが出来上がる、という単純さではない。

最適化の改善と汎化性能の評価

小さいモデルが早期終了点で高いテスト精度になっても、同じ時点で訓練精度も上がっていたら、単に最適化が早く進んだだけかもしれない。論文はそこで、決められた反復回数まで学習した後も比較している。

Lenetでは、多くの条件が訓練精度100%に達していても、疎なネットワークのテスト精度が元より高い範囲がある。少なくとも訓練精度という物差しでは同じだけ合わせ込めているのに、見ていないデータでの精度が違う。そこから、汎化も良くなっていると議論する。

自分には、この切り分けが大事に見えた。小さいほうが速く損失を下げた、同じ訓練時間で高い精度だった、訓練データには同じだけ合っているがテストでは違った、という三つは別の観測になる。全部を「性能が良い」の一語にしてしまうと、どの性質が変わったのか分からなくなる。

もちろん、ここから小さくすれば必ず汎化が良くなるとは言えない。刈りすぎると精度は落ちる。余裕のある大きさから少し減らす領域と、必要な表現まで失う領域の間に、良い範囲があったという結果だ。その範囲が別のデータやモデルでも同じかは、別に確かめる必要がある。

CIFAR10における畳み込みネットワークの実験

第3節では、CIFAR10に対してConv-2、Conv-4、Conv-6というVGGを縮小した構成を使う。畳み込みを2層ずつ置いてプーリングするまとまりが、順に1個、2個、3個になり、その後に全結合層が続く。

これらは畳み込み層と全結合層で重みの分布が違う。論文では同じ削除率を一律に当てるのではなく、畳み込み側と全結合側で率を分ける。たとえばConv-2とConv-4は畳み込み10%、全結合20%をラウンドごとの基本にしている。出力層にはさらに低い率を使う。

結果の大まかな形はLenetと似ている。反復して刈ると、精度が上がり、早期終了までの反復が減る領域がある。それ以上削ると再び悪くなる。マスクを保って初期値だけ引き直すと、元の初期値を使った場合より早く性能が崩れる。

ただ、初期値を引き直したConv-2やConv-4でも、中程度の削減なら精度が横ばいだったり、いったん上がったりする。だから初期値の効果だけですべてが決まるわけでもない。見つかった構造そのものにも、学習に都合のよい偏りが含まれていそうだ、という読み方ができる。

さらにdropoutを使う条件でも当選チケットは見つかる。ここでのdropoutは学習中に使うユニットを一時的に変える操作で、固定マスクで結合を永続的に削る枝刈りとは違う。どちらも部分的に使わなくするから同じ、とは言えない。組み合わせても改善が見られたことが、二つの操作の関係を考える材料になっている。

深いネットワークにおける学習率とwarmupの影響

第4節では、CIFAR10向けのVGG-19とResnet-18を調べる。batchnorm、weight decay、データ拡張、学習率の段階的な低下などを使い、前半より実際の学習設定に近づけている。ここでのResnet-18はCIFAR10向けの構成で、一般にImageNetで使う同名のモデルと混同しないほうがよい。

この段階になると、枝刈りの方法をそのまま適用するだけではうまくいかない。高い学習率では、元の初期値に戻してもランダムに引き直しても似た性能になり、当選チケットを見つけられない条件が出る。初期値が良ければ、どの学習設定でも使えるというわけではなかった。

学習率を下げると、初期値を戻すことの優位は見えやすくなる。しかし、今度は高い学習率で学習した元のモデルの精度に届かない場合がある。「同じ小さいモデルの再初期化より良い」ことと、「元の大きいモデルに匹敵する」ことは違う。前者だけで当選チケットが見つかったとは言わない。

そこで試すのが線形warmupだ。最初から目的の学習率を使わず、序盤は0から徐々に上げる。VGG-19では学習率0.1へ10,000反復かけて上げる条件を使い、残り1.5%まで元の精度を上回るチケットを報告している。Resnet側もwarmupを使うが、設定は別になる。

序盤の最適化の動かし方を変えると、同じ初期値とマスクの組を使った学習の成否が変わる。これは自分にはかなり気になる点だった。チケットがあるかどうかと、今使っている手順がそれを学習できるかどうかは同じではない。見つからなかったという結果は、探し方や最適化条件に依存する。

深いモデルでは、学習率を下げる時刻も精度曲線に強く効くため、早期終了の反復だけで速さを比べるのが難しい。そこで論文は学習途中の複数の時点の精度を並べている。前半と後半で評価の見せ方を変えている理由も、この条件の違いを押さえると分かりやすい。

層別枝刈りと大域的枝刈りの比較

深いモデルでは、削る重みを選ぶ範囲も変えている。層ごとに同率を削る方法に対し、global pruningは対象の畳み込み層をまとめ、全体で絶対値の小さい重みから選ぶ。付録I.1では、こちらのほうが小さい当選チケットを見つけている。

層ごとの同率削減は、どの層にも同じ割合の予算を割り当てる操作だ。層の役割や元の大きさが違っていても同率で削るので、小さい層が早く苦しくなるかもしれない。全体まとめてなら、ある層を多く残し、別の層を多く削ることができる。この自由度の違いがある。

ただし、絶対値を全層でそのまま比較してよいかという問題もある。重みのスケールが違えば、同じ数値の閾値が各層で同じ重要度を表すとは限らない。全体まとめてが優れたという結果を、どんなモデルでも必ず使うべき規則にするのは早い。

後半のGemmaの実験では、全体まとめてより行列ごとのほうが良かった。しかし、これは論文への反証にはならない。論文は刈った後に初期値から学習し直す画像分類で、こちらは学習済みモデルを学習し直さず評価する文章予測だ。違う対象と手順で、どの選び方が残った性能を保つかを見ている。

初期値の性質に関する分析

付録Fは、当選チケットの初期値や結合を調べている。最初から絶対値の大きい重みを選ぶだけでよいのか、残った初期値の分布をまねればよいのか、といった疑問に対応する実験がある。

初期値の大きさだけで学習前に刈る方法は、学習結果を使って見つけたマスクを引き直す方法よりも悪い。また、当選チケットの初期値に見られる分布から新しくサンプルしても、同じような性能にはならない。各層のヒストグラムが似ていればよい、という単純な特徴では説明できなかった。

面白いのは、残る重みは、学習中にあまり動かなかった値とは限らないことだ。付録では、むしろ大きく動き、絶対値が大きくなる傾向を調べている。よい初期値というと、最終的な正解の値に近いものを想像しがちだけど、その説明だけでは足りない。

初期値へノイズを加える実験もあり、少し変えただけで全部壊れるわけではない。それでもノイズを大きくすると悪くなる。初期値に意味があることと、1ビットも変えてはいけないことは別だ。このあたりを見ると、当選チケットを単なる偶然の数値の暗記として扱うのも違うように思える。

論文の考察は、構造、初期値、最適化手法、データの組み合わせを考える方向に進む。ただし、どうしてその初期値でうまく学習できるのかを完全に説明する理論が、この論文で完成したわけではない。観測された差から、原因の候補を一つずつ絞っている段階として読んだ。

当選チケットの存在とSGDの動作に関する推測

ここまでの実験で調べているのは、大きいネットワークの中に、小さくても学習可能な部分が見つかるかということだ。それをさらに進めて、通常のSGDそのものが、よい初期値を持った部分ネットワークを探して学習しているのではないか、という推測も論文にはある。

この二つは分ける必要がある。後から枝刈りで取り出した部分が単独で学習できたことから、元の密なネットワークの学習が、その部分を選び出す処理だったとまでは直ちに言えない。密な状態では、後で消す重みも途中の勾配や表現に影響していたかもしれない。

大きいネットワークほど候補となる部分の組み合わせが多い、という見方は直感的には分かりやすい。でも、候補の数が多いことと、使っている最適化がよい候補へ到達することの間には、まだ説明が要る。論文もこの拡張を未検証の推測として扱っている。

ここは、読んで面白かった部分と、実験で確かめられた部分を分けて書いておきたい。自分が気になったのは「大きいモデルの中に小さい使える部分がある」という見方だけど、それを「学習は最初からある正解を拾うだけ」と言い換えると、論文が調べた範囲を越えてしまう。

モデル縮小と計算資源削減に関する制約

限界を述べる第6節では、対象がMNISTとCIFAR10の画像分類であること、発見に繰り返し学習が必要なこと、疎な構造がそのまま当時のハードウェア向けに最適化されていないことが挙げられる。

非構造的な枝刈りは、行列のあちこちの要素を消す。論理的には使う重みが少なくても、配列の縦横は同じだ。0を計算しない実装や、位置を含めて効率よく保存する形式がなければ、実際のメモリや計算時間は思ったほど減らない。チャネルやまとまったブロックごと削る構造的な方法とは、実装上の事情が違う。

学習を15回以上繰り返して小さいモデルを見つけ、その小さいモデルの学習が速くなったとしても、1回だけ使うなら全体では高くつくかもしれない。同じマスクを何度も使えるのか、探索をもっと早く終えられるのか、別タスクへ持ち越せるのかで、実用上の価値は変わる。

それでも、学習しやすさと最終的な表現の大きさを分けて考える材料として、この論文は面白い。単に不要な重みを落とす圧縮技術というより、大きいモデルで学習を始めることに何の意味があるのかを調べている。小さいモデルを作る方法を使って、大きいモデルが学習できる理由を考える論文だった。

研究の意義と応用可能性

ここまで読むと、「小さいモデルが見つかったのは分かったけど、それを探すのに何回も学習するなら、結局何が得なのか」と思う。自分もそこが気になった。嬉しさには、論文の実験で既に見えているものと、その発見を使って今後実現したいものがある。第1節の応用の見通しと第5節の考察を踏まえて、自分なりに整理してみる。

疎な部分ネットワークの独立した学習可能性

まず実験で示しているのは、大きいネットワークと同じくらいの精度を得るために、学習中ずっと全部の結合を更新しなければならないとは限らない、ということだ。見つかった当選チケットは、その部分だけを独立に学習させても元に匹敵する。一部の範囲では、精度が上がり、必要な反復も減る。

大きいモデルの精度が欲しいとき、「同じ数の重みを持たせる」以外に、「うまく学習できる接続と初期値を選ぶ」という考え方が増える。もちろん、どの接続と初期値でもよいわけではない。そこを調べずに小さいモデルへ置き換えると失敗するからこそ、何を残すと学習できるのかを探す意味がある。

これは、完成済みのモデルから重みを消しても出力が変わらなかった、という観測より一歩踏み込んでいる。残った部分には、学習済みの答えを保存できるだけでなく、元の出発点からその答えを学び直せる組み合わせがあった。圧縮した完成品だけでなく、その小さい構造を学習の単位として扱える可能性が見えたのが嬉しい。

早期発見による学習コスト削減の可能性

実用面で一番分かりやすい期待は、学習コストだ。もし学習の早い段階でよいマスクを見つけ、その後を小さいネットワークで進められるなら、大きいネットワークで全工程を回す費用を減らせるかもしれない。論文も、できるだけ早い段階でチケットを探して刈る学習方式を今後の方向として挙げている。

ただし、元論文の反復的枝刈りをそのまま実行して、学習全体が安くなったとは言えない。何度も学習して探す費用があるからだ。ここは「小さい部分が学習できることを発見した」という成果と、「安く発見できる手順ができた」という成果を分けたい。後者ができて初めて、総費用を減らす話になる。

たとえば、探索の費用をS、元のモデルを1回学習する費用をD、チケットを1回学習する費用をTとする。説明用に、同じチケットを同じ条件でN回使えると仮定すれば、通常はN × D、探索する側はS + N × Tを比べることになる。T < Dでも、1回しか使わなければ探索費用を回収できないかもしれない。

この式は論文の測定値ではなく、費用の見方を示すためのものだ。実際には疎な計算を安く実行できることも、同じチケットを再利用できることも別に確かめる必要がある。別タスクへそのまま転用できると決まったわけでもない。それでも、どこを改善すれば得になるかが「探索を早くする」「再利用する」「疎な演算を速くする」と具体的になる。

ネットワーク構造と初期化の設計への示唆

モデルを小さくするとなると、層数や幅を減らす設計を考えやすい。宝くじ仮説の実験は、どこをつなぐかに加え、その接続をどんな値から学習させるかも見る必要があると教えてくれる。同じマスクでも初期値を引き直すと差が出るので、構造だけをコピーして終わりにはできない。

逆に、当選チケットに繰り返し現れる接続の特徴や初期値の性質が分かれば、最初から学習しやすい小さい構造や初期化を設計する手掛かりになる。論文がよりよいネットワーク設計への応用として期待しているのは、この方向だ。ただし、特徴を調べることと、それを使った一般的な設計法が完成することは違う。

自分が小さいモデルの実験をするとしても、精度が出なかったときに「単純に重みの数が足りなかった」とだけ結論しなくて済む。接続の残し方が悪かったのか、初期値との組が悪かったのか、学習率の条件が合わなかったのかを分けて試せる。warmupの結果も含めて、失敗を調べるための比較相手が増えるのは実験上の利点だと思う。

モデル容量と汎化性能の関係の分析

論文では、少し刈った範囲でテスト精度が元より高くなる場合がある。これは実験で見えている嬉しさだ。小さくすることを、精度を少し犠牲にして資源を節約する取引だけで考えなくてよくなる。条件によっては、小さくしながら精度も良くなる領域がある。

その一方で、刈りすぎれば悪くなる。同じ訓練精度でもテスト精度が違うという観測を使えば、単に訓練データを覚えやすいかだけでなく、どんな構造が未知のデータへ一般化しやすいかを調べられる。枝刈りが、容量と汎化の関係を動かして見るための実験操作になる。

これを、手元のLLMも削れば賢くなるという保証にすることはできない。元論文の画像分類と、今回の文章予測では条件が違う。嬉しいのは「削れば必ず良くなる」という答えではなく、どこを残し、どこまで減らし、どう学習させると良くなるかを、比較可能な問いとして立てられることだ。

過剰パラメータ化と最適化の関係への示唆

理論的な面では、最終的な予測を表現するための容量と、そこへ学習で到達するための条件を分けて考えられる。大きいモデルを学習した後に小さくできたとしても、大きいモデルから始めたことに意味がなかったとは限らない。一方で、見つかった小さい部分が独立に学習できるなら、大きさ以外にも学習を成立させる要因がある。

ここから、過剰なパラメータはどのように最適化を助けるのか、初期値はどのように学習経路へ影響するのか、という問いへ進める。論文の「SGDがよい部分を探しているのでは」という推測は、その説明候補の一つだ。答えが完成したわけではないが、大きいモデルと小さいモデルを単に別物として比べるより、同じモデル内で構造と初期値を固定・変更して調べられるようになる。

自分にとっての一番の収穫は、モデルの重みを一様な塊として見なくてよくなったことだった。全部を使って学習したモデルの中にも、単独で学習できる組み合わせがある。それなら、どの組み合わせが残り、どういう条件で使えるかを、実際に重みへ手を入れて確かめたくなる。

今回のGemmaの枝刈りは、その興味の入口になる。ここで20%削っても大きく崩れなかったからといって、学習費用を削減できたわけでも、当選チケットを見つけたわけでもない。まず学習済みの予測を保つ結合の選び方を見て、その先で再学習、疎な実装、別のデータでの性能を調べる、という次の問いができた。

Gemmaの枝刈り実験の目的と対象範囲

自分のMacでできる範囲に戻ると、今回持っているのはGemmaの学習済みの値で、事前学習前の初期値ではない。元の学習を何度もやり直すこともしていない。だから、仮説の中心にある「同じ初期値からの学習」を調べるところまでは進めない。

代わりに確かめるのは、学習済みの値から結合を削った瞬間、予測性能がどこまで残るかだ。小さい絶対値を行列ごとに消す、全体で消す、ランダムに消す、という選び方を比較する。ここでマスクの差は見られるが、初期値の差は見られない。

論文の精度と自分のperplexityも直接対応しない。前者は画像のクラス予測で、後者は文章の次トークン予測になる。数字をそのまま並べるのではなく、何を固定して、何を変えると差が出たかという実験の考え方を借りることにした。

そのつもりで以下の結果を読むと、20%ほど削っても劣化が小さかったことは、当選チケットを発見した証拠にはならない。一方、ランダムと絶対値基準で大きな差が出るなら、学習済みモデルでどの結合を残すかが重要だという観測にはなる。論文を読んだ興味を、まず手元で測れる問いへ絞ってみた。

実験環境と枝刈り対象

使ったのはgoogle/gemma-4-E2Bの事前学習済みベースモデルで、重みはbf16。実行時のsnapshotは433813a669639fd7eaa83155828e9000ed357d53だった。環境はApple M3・メモリ16GBのMac、Python 3.13.17、MLX 0.32.4、mlx-lm 0.32.2、NumPy 2.5.5、PyArrow 26.0.1。

削る対象は35層のdecoderにあるattentionのq/k/v/oと、MLPのgate/up/downの重み行列。実装上の対象は205行列、計1,835,532,288個の重みになった。後半20層はKVを共有するため、そこにはk/vの行列がない。埋め込み、層ごとの埋め込み表(PLE)とそのゲート、norm、出力層は削らない。

以下の「20%削った」は、この対象行列の中の20%という意味で、モデル全体の20%ではない。

比較したのは次の3方式。

方式削る重みの選び方
行列ごと(コードではlayerwise)各行列の中で、絶対値の小さいものから同じ割合を削る
全体まとめて(global)205行列をまとめて、絶対値の小さいものから削る
ランダム(random)各行列で同じ削除確率のランダムマスクを使う

ここでのlayerwiseは、decoderの1層をひとまとめにするのではなく、重み行列ごとの処理になる。ランダム方式は各要素を確率で選ぶので、削る個数を厳密に合わせる方式ではない。

絶対値を使う方式では、bf16の絶対値のビット表現から度数分布を作り、削る個数に対応する閾値を求めた。同じ絶対値が並ぶ境界では乱数で選ぶ実装にしている。割合を増やすときは、それまでに削った重みを0のままにして、続きから削る。方式を変えるときは元のモデルを読み直した。乱数seedは0の1つだけ。

評価データと評価指標

評価にはWikiText-2 rawのテスト分割を使った。テキストを連結してtokenizeし、先頭から64ウィンドウを取り出す。1ウィンドウはBOSと本文1023トークンで、長さ1024。予測対象は合計65,472トークンになる。すべての条件で同じウィンドウを使った。

測るのは次のトークンの予測に対するperplexityで、低いほど良い。平均の負の対数尤度(NLL)を指数に戻した値で、たとえば「perplexityが2倍」は「正答率が半分」という意味ではない。

削る割合を5%刻みで上げ、perplexityが削る前の10倍を超えたら、その方式のそれ以上の評価を打ち切った。微調整も初期値へのリセットもしていない。

評価ウィンドウの構成と損失の計算

同じWikiText-2でも、区切り方が違えばperplexityは変わる。今回はParquetのtext列を空行2つで連結し、add_special_tokens=Falseでtokenizeした。ログ上では292,282トークンあり、本文1023トークンずつに区切ると285ウィンドウになる。その先頭64個だけを評価した。テスト分割全体を評価した結果ではない。

各ウィンドウの先頭にはBOSを1個追加する。モデルへは最後の1トークンを除いた列を渡し、1つずらした列を正解として、本文1023トークンすべての予測損失を計算する。ウィンドウ同士で文脈を引き継ぐ評価ではなく、各ウィンドウは新しくBOSから始まる。したがって、文脈長や重なり方が違う既存ベンチマークの値とは直接比べない。

損失は各位置のlogsumexp(logits) - 正解トークンのlogitを加算し、全65,472トークンで割って平均NLLにする。最後にexp(平均NLL)を取るのが、表のperplexityだ。64ウィンドウのperplexityを単純平均しているわけではない。

モデルのlogitsはbf16のまま計算し、損失計算のためのfloat32への変換を256位置ずつに分けた。これは巨大なfloat32のコピーを一度に作らないための対策で、予測対象のトークンを減らしたわけではない。各ウィンドウの平均NLLも小数点以下5桁で記録しており、後の信頼区間の計算にはその記録を使った。

枝刈りマスクの生成方法

絶対値基準の枝刈りでは、bf16の符号ビットを外したビット表現を使って度数分布を作る。表現の枠は32,768通りあるので、重み全体を浮動小数点のままソートする代わりに、各値が何個あるかを数えて閾値を求められる。

layerwiseは各行列についてround(削除率 × 要素数)、globalは対象全体について同じ式で、削る目標個数を決める。閾値より小さいものを削り、閾値と同じ絶対値が並ぶところは乱数で選ぶ。実装は目標個数へ合わせる意図だが、乱数値の同値もあり得るため、任意の入力で厳密にその個数になると保証する説明にはしない。合成データのテストと、実際に0になった割合の記録で挙動を確認する。

ランダム方式は、行列ごとに作った一様乱数と削除率を比較する。割合ごとにマスクを引き直すのではなく、同じseedで同じ乱数を使うため、5%で消えた位置は10%でも消えたままになる。絶対値基準でも、既に0にした重みを持ち越して段階的に刈った。

記録された実際の0の割合は、小数点以下6桁の精度では、ランダム10%の0.100007を除いて指定値と一致した。ランダム10%は約10.0007%になる。この実測値まで含めてresults.jsonlへ残している。

枝刈り率とperplexityの関係

Gemma 4 E2Bの枝刈り率とperplexity。行列ごと・全体・ランダムの3方式。縦軸は対数。

グラフは実験結果のJSONLから生成したSVGを掲載した。凡例の「層ごと」は、この記事でいう重み行列ごとの処理になる。

表の括弧内は、削る前に対するperplexityの倍率。横棒は打ち切り後で、評価していない条件になる。

対象の重みを削った割合行列ごと全体まとめてランダム
0%9.639.639.63
5%9.63(1.00倍)9.65(1.00倍)18.44(1.92倍)
10%9.74(1.01倍)9.80(1.02倍)128.6(13.4倍)
15%10.06(1.05倍)10.41(1.08倍)—
20%10.84(1.13倍)11.89(1.23倍)—
25%12.53(1.30倍)15.00(1.56倍)—
30%21.06(2.19倍)26.21(2.72倍)—
35%61.77(6.42倍)123.4(12.8倍)—
40%282.4(29.3倍)——

行列ごとの5%では、丸めると元と同じ9.63になった。ウィンドウ単位の対応ありブートストラップを10,000回行うと、元との平均NLLの差は約+0.0002、95%信頼区間は約[-0.0005, +0.0009]だった。この評価範囲では差を検出できない。ただし、性能が完全に同じだと証明できたわけではない。

10%でも1.01倍、20%で1.13倍なので、最初は意外と耐える。そのまま削れるのかと思うと、30%を越えたあたりから一気に悪くなる。ランダム方式は5%でも1.92倍、10%で13.4倍だった。小さい重みを選んで削るだけでも、ランダムとはずいぶん差がついた。

全体まとめての方式は、共通して評価した5〜35%のすべてで行列ごとより悪かった。記録したウィンドウ単位のNLLから計算した差の95%信頼区間も、各割合で0より上になっている。5%での平均NLLの差は約+0.0020、区間は[+0.0013, +0.0026]だった。ただし、複数の割合を同時に比較するための補正はしていない。

全体に同じ閾値を使うと、重みのスケールが小さい行列を多く削ることになる。今回のテストにも、スケールの違う合成行列でその挙動を確かめる条件がある。ただ、実モデルでどの行列を削ったことが悪化の原因かまでは調べていない。

perplexityの詳細値と評価打ち切り条件

削る前のperplexityは9.6284491098で、平均NLLは2.2647221976だった。行列ごとの5%はperplexityが9.6303986562、NLLが2.2649246544。表ではどちらも9.63だが、内部の値まで同じではない。

打ち切りの境界は、削る前の10倍なので約96.2845になる。行列ごとは35%で61.7703、40%で282.4349となり、40%を記録したところで止めた。全体まとめては30%で26.2099、35%で123.3804となり、35%で止めた。ランダムは5%で18.4391、10%で128.5886なので、10%で止めた。

これは、閾値を超える最小の削除率を連続的に探した結果ではない。調べた刻みの中で、最初に超えた位置になる。たとえば全体まとめてが30%では境界以下、35%では境界以上だったからといって、崩れ始める点を35%ぴったりに特定したわけではない。

信頼区間の算出方法と解釈

差の評価には、同じ64ウィンドウの対応を保つブートストラップを使った。ある枝刈り条件の各ウィンドウの平均NLLから、比較対象の同じウィンドウの平均NLLを引き、64個の差を作る。その64個を復元抽出して平均する操作を10,000回行い、2.5パーセンタイルと97.5パーセンタイルを95%信頼区間とした。集計の乱数seedは1で、枝刈りのseed 0とは別だ。

元のモデルとの差なら、正の差は悪化を表す。全体まとめてから行列ごとを引く場合も、正なら全体まとめてのほうが悪い。両条件で同じ文章の同じ位置を予測しているため、別々のウィンドウを独立に抽出するのではなく、差の対応を保っている。

行列ごとの5%では区間が0をまたぐ。一方、全体まとめてと行列ごとの差は、共通して評価した5〜35%の各区間が0より上になった。ただし、これは記録したウィンドウ単位の差についての区間で、モデルを何度も学習したり、枝刈りseedを何種類も変えたりしたばらつきではない。複数の割合をまとめて判定する補正もしていない。

また、区間に0を含むことは「差がない」の証明ではない。ごく小さな差を、今回のデータと評価方法では区別できなかったという読み方になる。5%の削減がどの入力でも無害だ、という主張にはしない。

メモリ使用量の抑制と実行条件の変更

本番の記録は1回の連続実行ではなく、途中で止めて再開した計3回の実行からできている。

最初はスワップで遅くなり、行列ごと20%の評価中に止めた。次にMLXのキャッシュを抑え、logitsをfloat32へ変換する範囲を分割して再開した。行列ごと40%で十分に崩れたので、50%の評価中に止めて打ち切り条件を追加し、3回目で残りを実行した。

2ウィンドウの動作確認では、メモリ対策前後のperplexityがほぼ一致することを確認した。削る前は約7.635695、行列ごと50%は約168,754.31。これは短い動作確認の値で、本番64ウィンドウの表とは別のものになる。

ログ上のMLXピークメモリは対策前11.25GB、対策後10.5GBだった。3回目の本番評価は1条件あたり約123〜126秒で、枝刈りやモデル読み込みはこの時間に含まない。最初の削る前の評価は576.6秒かかっている。途中で条件を変えているので、これらをモデルの推論速度の比較には使えない。16GBのMacで試すなら、メモリの余裕は大事だった。

各実行と結果レコードの対応

最初の実行は15時45分30秒にモデル読み込みを終えた。削る前、行列ごと5%、10%、15%の4条件を記録した後、20%の評価中に停止した。これが結果ファイルの1〜4行目になる。モデル取得は約9.6GB、ログでは465秒かかっている。

2回目は16時16分43秒に読み込みを終え、--resumeで再開した。既存の4条件は評価を飛ばすが、元のモデルから同じ枝刈りを順にやり直し、20%へ到達する。20〜40%の5条件を記録し、50%の評価中に停止した。これが5〜9行目だ。

3回目は16時37分54秒に読み込みを終えた。再びマスクを再構築し、記録済みの行列ごと40%が10倍の基準を超えていることを確認して、それ以上を飛ばした。その後に全体まとめて7条件、ランダム2条件を記録し、16時59分15秒に終了した。結果ファイルの10〜18行目がこの実行になる。

未完了の20%や50%の評価は、成功した結果として補っていない。3回のログを追えるように、1回目、2回目、3回目も置いた。ログでは進捗バーの行を省略している。

全18条件のNLL・評価時間・メモリ使用量

次の表は結果ファイルから生成した。削る前も含め、全条件が同じ64ウィンドウ・65,472予測トークンの評価になる。時間はeval_s、メモリはMLXが返すpeak_gbで、プロセス全体のRSSやOS全体のメモリ使用量ではない。ピーク値は記録時点の値で、各条件だけの増分でもない。

方式削除率平均NLL評価時間(秒)MLXピーク(GB)
削る前0%2.264722576.611.25
行列ごと5%2.264925230.911.25
行列ごと10%2.276571299.111.25
行列ごと15%2.308953386.411.25
行列ごと20%2.382841142.510.50
行列ごと25%2.527897162.710.50
行列ごと30%3.047452255.910.50
行列ごと35%4.123422283.310.50
行列ごと40%5.643448217.410.50
全体まとめて5%2.266877126.110.50
全体まとめて10%2.282618122.710.50
全体まとめて15%2.342991122.610.50
全体まとめて20%2.475500122.910.50
全体まとめて25%2.708196122.710.50
全体まとめて30%3.266138122.510.50
全体まとめて35%4.815272122.810.50
ランダム5%2.914472125.010.50
ランダム10%4.856618123.010.50

ランダムの枝刈り自体はログで約1.8秒、全体まとめては約9.7〜10.7秒だった。これは上の評価時間に含めていない。削除率が大きいほど評価が必ず速い、という傾向をこの記録から主張することもできない。スワップや実装変更の影響が混ざっているし、疎な演算へ切り替えたわけでもないからだ。

2ウィンドウによる動作確認と数値整合性

本番前の短い評価では、まず削る前と行列ごと50%を比べた。別の動作確認では5%、10%、20%、30%、40%も試し、低い割合では変化が小さく、30〜40%で急に崩れる様子を先に見た。

行列ごとの削除率2ウィンドウでのperplexity
0%7.635695
5%7.624526
10%7.704467
20%8.413256
30%15.921080
40%325.312759
50%168,754.311435

この表は複数の動作確認ファイルを並べたもので、本番の64ウィンドウの表とは評価範囲が違う。5%で少し良く見えても、2ウィンドウだけで性能改善があったとは結論しない。

メモリ対策後に同じ2条件を再実行すると、削る前は7.6356949852、行列ごと50%は168754.3114353944になった。対策前の削る前の値は7.6356952130なので、ごく小さい数値差はあるが、今回の表の議論を変える差ではなかった。損失計算を分割しても同様の値になることを確かめる動作確認であり、本番の全条件を独立にもう一度再現した試験ではない。

実験コード・結果データ・再実行手順

実験に使った枝刈りと評価のコード、集計コード、合成データのテスト、結果18行のJSONLを置いておく。グラフ生成コードも同じ結果ファイルを読む。

テストには、削る数、絶対値の順序、全体共通の閾値、ランダムマスクの入れ子などの確認がある。段階的な枝刈りと一度に刈る場合のマスク比較は、一致率が0.999を超えるかを見る条件で、完全一致の保証ではない。記事を書く際には結果18行のNLL・perplexity・トークン数を照合し、5%の信頼区間も別実装で概算し直した。モデル評価自体を記事の執筆時に再実行したわけではない。

再実行用のコマンドは次の通り。コードの既定値はモデル名だけなので、元と同じ重みを使うには、上に書いたsnapshotを取得して--modelにローカルパスを渡す必要がある。--resumeの照合はデータのhashやモデルrevisionまで見ないため、結果ファイルは同じ入力・同じ設定のときだけ使い回す。

python3.13 -m venv .venv
.venv/bin/pip install mlx==0.32.4 mlx-lm==0.32.2 numpy==2.5.5 pyarrow==26.0.1
mkdir -p data results
curl -L -o data/test.parquet \
  https://huggingface.co/datasets/Salesforce/wikitext/resolve/main/wikitext-2-raw-v1/test-00000-of-00001.parquet
.venv/bin/python test_prune.py
.venv/bin/python prune_ppl.py --model /path/to/fixed-model-snapshot \
  --data data/test.parquet --out results/results.jsonl \
  --windows 64 --methods layerwise,global,random \
  --sparsities 0.05,0.1,0.15,0.2,0.25,0.3,0.35,0.4,0.5,0.7,0.9 \
  --stop-ratio 10
.venv/bin/python summarize.py results/results.jsonl

実験結果の適用範囲と限界

学習済みのGemma 4 E2Bには、小さい重みをある程度0にしても、今回の文章予測では劣化が小さい範囲があった。ただ、対象はWikiText-2の先頭64ウィンドウだけで、会話やコード生成などの性能は見ていない。信頼区間もこのウィンドウ集合に対するもので、別のモデルやseedでのばらつきを表すものではない。

また、重みを0にしても、配列の形はそのままだ。疎行列用の保存形式や演算には変えていないので、モデルファイルが小さくなった、メモリが減った、推論が速くなったという実験でもない。

微調整すればもっと削れるかもしれないが、今回はそこまで試していない。元の初期値へ戻して学習する宝くじ仮説の検証も残っている。まずは手元で重みを削るだけでも、20%くらいまでの緩やかな変化と、その先の急な崩れ方を見られたのが面白かった。