<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>Gemma</title><link>https://blog.ast.moe/tags/gemma/</link><description>最近の記事: 五里霧中</description><generator>Hugo</generator><item><title>宝くじ仮説の概要とGemma 4 E2Bの再学習を伴わない枝刈り実験</title><link>https://blog.ast.moe/blog/2026-11-17/</link><pubDate>Tue, 17 Nov 2026 19:16:10 +0900</pubDate><guid>https://blog.ast.moe/blog/2026-11-17/</guid><description>&lt;p&gt;&lt;a href="https://arxiv.org/abs/1803.03635v5"&gt;The Lottery Ticket Hypothesis&lt;/a&gt;を読んで、大きなニューラルネットワークの中に、どれくらい小さくしても使える部分があるのか気になった。手元のMacで動かせるGemma 4 E2Bで、実際に重みを刈ってみた。&lt;/p&gt;
&lt;p&gt;先に結果を書くと、絶対値の小さい重みを行列ごとに削る場合、対象の20%を削ってもperplexityの悪化は約1.13倍だった。一方、30%で約2.19倍、40%で約29.3倍と、その先は急に崩れた。ランダムに削ると10%で約13.4倍になる。同じ数を削るにしても、どれを残すかでかなり違う。&lt;/p&gt;
&lt;p&gt;ただし、今回は再学習していない。宝くじ仮説そのものの再現実験ではなく、それをきっかけに試した、学習済みモデルの枝刈りの記録になる。&lt;/p&gt;
&lt;h2 id="宝くじ仮説の概要"&gt;宝くじ仮説の概要&lt;/h2&gt;
&lt;p&gt;この節ではFrankleとCarbinによる原論文の内容を解説する。後半のGemma 4 E2Bの枝刈りは、論文を読んで手元で行った別の検証として記載する。&lt;/p&gt;
&lt;p&gt;元になったのは、Jonathan FrankleとMichael Carbinの「The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks」。ICLR 2019の論文で、ここでは&lt;a href="https://arxiv.org/abs/1803.03635v5"&gt;2019年3月4日のv5&lt;/a&gt;を読む。以下の節番号・図番号・付録番号もこの版に合わせる。論文の読書メモをもとに、今回の実験で何を試せて、何を試せていないか分かるところまで説明しておく。&lt;/p&gt;
&lt;h3 id="原論文の背景モデル圧縮と学習可能性"&gt;原論文の背景：モデル圧縮と学習可能性&lt;/h3&gt;
&lt;p&gt;ニューラルネットワークの枝刈りは、学習済みの重みの一部を取り除くことだ。たとえば、ある層から次の層への結合を0にして、そこでは情報を渡さないようにする。全部のニューロンを残したまま結合だけがまばらになるなら、ネットワークは疎になる。&lt;/p&gt;
&lt;p&gt;大きいモデルから不要そうな結合を消しても性能が保たれるなら、最初からその小さい構造を用意して学習すれば、最初の大きなモデルはいらないように見える。保存や推論だけでなく、学習も小さいモデルで済ませたい。この素朴な疑問が論文の出発点になっている。&lt;/p&gt;
&lt;p&gt;ただ、学習の最後に小さくできることと、小さい状態から学習を始められることは別だ。大きいモデルで一度学習したからこそ、残すべき結合が分かったのかもしれない。残った結合の値そのものに、学習で得た情報が入っているのかもしれない。同じ形の小さいモデルを作り直しても、同じように学習できるとは限らない。&lt;/p&gt;
&lt;p&gt;ここで分けたいのは、「最終的な答えを表現するのに必要な大きさ」と「その答えにたどり着く学習を進めやすい大きさ」だ。前者だけなら小さくても足りるとして、後者では大きさが役に立つかもしれない。宝くじ仮説は、このずれを初期値と部分ネットワークから考える。&lt;/p&gt;
&lt;p&gt;たとえば、山道を歩き終えてから通った道だけを地図に残すのと、初めからその細い道だけを知って歩き始めるのは違う。これは理解のためのたとえで、最適化が実際に道を一本選ぶという主張ではない。最終的な構造が小さいという事実から、そこへ至る過程まで不要だったとは言えない、という区別になる。&lt;/p&gt;
&lt;h3 id="当選チケットの定義"&gt;当選チケットの定義&lt;/h3&gt;
&lt;p&gt;論文でいう当選チケットは、学習済みの重みをそのまま小さく切り出したものではない。元の大きなネットワークに最初から含まれていた結合の一部と、その結合に割り当てられていた学習前の初期値の組だ。&lt;/p&gt;
&lt;p&gt;元の初期値を&lt;code&gt;θ₀&lt;/code&gt;、残す結合の位置を示すマスクを&lt;code&gt;m&lt;/code&gt;と書く。マスクは各重みに対して0か1を持ち、0の位置は使わず、1の位置は使う。すると、小さいネットワークの初期値は&lt;code&gt;m ⊙ θ₀&lt;/code&gt;になる。&lt;code&gt;⊙&lt;/code&gt;は要素ごとの掛け算だ。接続の形を決めるのが&lt;code&gt;m&lt;/code&gt;で、出発時の値を決めるのが&lt;code&gt;θ₀&lt;/code&gt;になる。&lt;/p&gt;
&lt;p&gt;この部分だけを単独で学習させて、元の大きなネットワークと同じくらい少ない反復回数で、同等以上のテスト精度に届くなら、当選チケットと呼べる。少ない重み、精度、学習に必要な反復回数の三つを一緒に見ている。単に小さいモデルが何となく学習できた、という条件ではない。&lt;/p&gt;
&lt;p&gt;&lt;a href="https://arxiv.org/html/1803.03635v5#S1"&gt;本文第1節の定義&lt;/a&gt;では、元のネットワークが検証損失の最小値に達する反復を&lt;code&gt;j&lt;/code&gt;、その時点のテスト精度を&lt;code&gt;a&lt;/code&gt;とする。小さいネットワーク側を&lt;code&gt;j′&lt;/code&gt;と&lt;code&gt;a′&lt;/code&gt;にすると、求めるのは&lt;code&gt;j′ ≤ j&lt;/code&gt;かつ&lt;code&gt;a′ ≥ a&lt;/code&gt;で、残った重みの数は元より十分少ない、という条件だ。&lt;/p&gt;
&lt;p&gt;「宝くじ」という名前から、すでに正解が書かれた重みが初期状態に埋まっているようにも感じる。でも、初期値のままで分類できるという話ではない。そこからちゃんと学習する必要がある。うまく学習できる出発点を持った部分が含まれている、という意味での当選になる。&lt;/p&gt;
&lt;p&gt;また、存在すると言うことと、学習前にその位置を知っていることは違う。論文の方法は、一度大きなネットワークを学習させてから、その結果を手掛かりにチケットを探す。初期値だけを眺めて正解のマスクが分かる、というアルゴリズムではない。&lt;/p&gt;
&lt;h3 id="学習枝刈り初期値へのリセット"&gt;学習・枝刈り・初期値へのリセット&lt;/h3&gt;
&lt;p&gt;中心になる操作は四つある。まず大きなネットワークをランダム初期化し、その初期値を保存する。次に学習する。学習後の重みの絶対値を見て、小さい結合を削る。最後に、残った結合の値を、保存しておいた元の初期値へ戻す。&lt;/p&gt;
&lt;p&gt;ここで絶対値を使うのは、正負ではなく大きさで結合を選ぶためだ。たとえば&lt;code&gt;-0.8&lt;/code&gt;と&lt;code&gt;0.01&lt;/code&gt;なら、0に近いのは後者になる。ただし、絶対値が小さいことが、どのモデルでも重要度の低さを完全に表すとは限らない。この論文では、そうした単純な基準で見つけた部分ネットワークがどう学習するかを調べている。&lt;/p&gt;
&lt;p&gt;重要なのは、選ぶときと学習し直すときで、見ている重みの時点が違うことだ。マスクを作る判断には学習後の値を使う。一方、疎なネットワークを再び学習するときの出発点には、学習後の値を持ち越さない。同じ位置にあった学習前の値へ戻す。&lt;/p&gt;
&lt;p&gt;&lt;img src="https://blog.ast.moe/images/2026-11-17/workflow-ja.svg" alt="学習後の重みから残す位置を選び、保存しておいた学習前の値へ戻して再学習する。"&gt;&lt;/p&gt;
&lt;p&gt;学習後の値を保ったまま微調整するなら、学習で獲得した値を使って性能を回復する実験になる。初期値へ戻しても学習できるかを見ることで、学習済みの値を持ち越した効果と、構造・初期値の組が持つ効果を分けやすくしている。自分のGemmaの実験と大きく違うのは、まさにこの部分だ。&lt;/p&gt;
&lt;h3 id="単発枝刈りと反復的枝刈り"&gt;単発枝刈りと反復的枝刈り&lt;/h3&gt;
&lt;p&gt;一度学習して、必要な割合をまとめて刈り、残りを初期値へ戻す方法をone-shotと呼ぶ。それに対し、論文が主に使う反復的枝刈りは、学習・枝刈り・初期値へのリセットを何ラウンドも繰り返す。前のラウンドで残った結合の中から、次に削る位置を選ぶ。&lt;/p&gt;
&lt;p&gt;たとえば説明用に、毎回残っている重みの20%を削るとする。残る割合は1回目で80%、2回目で64%、3回目で51.2%になる。毎回元の全体から20ポイントずつ引くわけではない。均一な割合を仮定したこの計算は&lt;code&gt;0.8ⁿ&lt;/code&gt;で書ける。ただし実験では出力層などの割合が違うので、ネットワーク全体がこの数列にぴったり一致するとは限らない。&lt;/p&gt;
&lt;p&gt;段階を踏むことで、いきなり強く刈る場合より小さい当選チケットを探せるというのが論文の結果だ。一度で不要な結合を全部選ぶより、少し狭くしたネットワークでまた学習し、その状態で残すものを選び直すほうが、探し方としてうまく働いている。&lt;/p&gt;
&lt;p&gt;&lt;a href="https://arxiv.org/html/1803.03635v5#A2"&gt;付録B&lt;/a&gt;では、毎ラウンド初期値に戻す方式と、学習済みの値から学習を続けながら刈って、最後に一度だけ初期値へ戻す方式も比較している。どちらも最後には初期値からの学習を試すが、マスクを発見する途中の経路が違う。LenetとConv系では、毎回戻す方式のほうが、小さいサイズまで精度と速い学習を保った。&lt;/p&gt;
&lt;p&gt;つまり、最終的にどれだけ残ったかだけを見ても十分ではない。そのマスクを、どの学習経路から得たのかが効いている。一方で、これだけのために何度も学習し直すので、発見の費用は大きい。小さいチケットを一度学習する費用と、チケットを探し当てるまでの費用は分けて数える必要がある。&lt;/p&gt;
&lt;h3 id="対照実験ランダム疎構造とランダム再初期化"&gt;対照実験：ランダム疎構造とランダム再初期化&lt;/h3&gt;
&lt;p&gt;この論文を読むとき、ランダムという言葉の対象を分けるのが大事だった。一つは、残す位置そのものをランダムに選んだ疎なネットワーク。もう一つは、枝刈りで見つけたマスクは固定して、残った位置の初期値だけを新しくランダムに引き直したネットワークだ。&lt;/p&gt;
&lt;p&gt;後者なら、結合の形は当選チケットと同じになる。違うのは、その位置に元からあった値を使うか、別の値に置き換えるかだ。その比較で差がつけば、構造だけでは説明しきれない。元の初期値との組み合わせが役に立っている、と考える材料になる。&lt;/p&gt;
&lt;p&gt;ただし、この比較で「構造は無意味」とまでは言えない。マスク自体を学習結果から選んでいるし、中程度の枝刈りでは、引き直しても精度が保たれる場合もある。構造と初期値の両方が候補で、削る強さや学習条件によって、それぞれの効き方が変わると読むほうが自然だと思う。&lt;/p&gt;
&lt;p&gt;自分の後半の実験で使うランダム方式は、学習済みモデルの重みをランダムに0にする比較になる。論文のランダム再初期化とは、操作する時点も、変更するものも違う。同じ「ランダム」という名前だけで結果を並べると、この違いが隠れてしまう。&lt;/p&gt;
&lt;h3 id="学習速度と精度の評価方法"&gt;学習速度と精度の評価方法&lt;/h3&gt;
&lt;p&gt;論文の前半では、検証損失が最も小さくなった反復を、学習の速さの代理にしている。検証損失は、学習に使っていない検証データで予測のずれを見る値だ。学習を続けると、訓練データには合わせられても検証損失はまた増えることがある。その底にどのくらい早く届くかを見る。&lt;/p&gt;
&lt;p&gt;この反復を早期終了点と呼び、そのときのテスト精度も測る。&lt;a href="https://arxiv.org/html/1803.03635v5#A3"&gt;付録C&lt;/a&gt;に評価の考え方がある。小さいモデルの訓練損失が早く下がっただけでは、まだテスト精度まで保てたことにはならない。速さと精度の両方を見る必要がある。&lt;/p&gt;
&lt;p&gt;注意したいのは、この早期終了点が、枝刈りするための学習をその場で打ち切る指示ではないことだ。たとえばLenetでは、各ラウンドの学習は決めた50,000反復まで行う。記録した検証損失を使い、後から最小だった時点を評価する。マスクの選択に使う学習後の重みと、早期終了点の測定を混ぜないようにしたい。&lt;/p&gt;
&lt;p&gt;反復回数が少ないことは、壁時計時間が同じ割合で短いことでもない。疎な重みを通常の密な配列で計算していたら、重みの数が減っても1反復の処理は同じように走るかもしれない。「38%早い」といった数値を読むなら、何の回数が減ったのかを確認する必要がある。&lt;/p&gt;
&lt;p&gt;本文の主要な曲線は複数試行の平均で、図のエラーバーには最小値と最大値が使われている。信頼区間と同じものではないし、最良の1回だけの記録でもない。再初期化ではさらに引き直しを行っている。後半で使うウィンドウ単位のブートストラップとは、ばらつきの対象からして違う。&lt;/p&gt;
&lt;h3 id="mnistにおける全結合ネットワークの実験"&gt;MNISTにおける全結合ネットワークの実験&lt;/h3&gt;
&lt;p&gt;&lt;a href="https://arxiv.org/html/1803.03635v5#S2"&gt;第2節&lt;/a&gt;のLenetは、手書き数字のMNISTを分類するLenet-300-100という全結合ネットワークだ。ここでの名前から、畳み込みのLeNet-5を想像すると違う構成になる。隠れ層が300、100、その後に10クラスの出力が続く。&lt;/p&gt;
&lt;p&gt;この実験では、学習後の絶対値を層ごとに見て刈る。基本の枝刈り率は1ラウンド20%で、出力につながる重みはその半分の割合にする。初期化にはGaussian Glorot、基本設定の最適化にはAdamを使い、50,000反復学習する。入力と出力の条件を固定した上で、どれだけ残すと学習曲線が変わるかを追っている。&lt;/p&gt;</description></item></channel></rss>