<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>MLX</title><link>https://blog.ast.moe/tags/mlx/</link><description>最近の記事: 五里霧中</description><generator>Hugo</generator><item><title>Gemma 4 E2Bをさらに小さくする。語彙削減と層ごとのMLP配分を試した</title><link>https://blog.ast.moe/blog/2026-11-18-3/</link><pubDate>Wed, 18 Nov 2026 19:36:38 +0900</pubDate><guid>https://blog.ast.moe/blog/2026-11-18-3/</guid><description>&lt;p&gt;&lt;a href="https://blog.ast.moe/blog/2026-11-18/"&gt;前回はGemma 4 E2BのMLPチャネルを丸ごと削り、小さい行列として保存した&lt;/a&gt;。10%段階の削除では、モデル全体の重みサイズは約3.5%減った。生成も少し速くなったが、MLPはモデル全体の約34%しかない。そこだけ頑張って削っても、モデル全体はなかなか小さくならない。&lt;/p&gt;
&lt;p&gt;今回は二つ試した。一つは、英語と日本語で使うトークンを中心に語彙を絞り、大きな埋め込み表を小さくすること。もう一つは、MLPの削除総数をそろえたまま、層ごとに削る割合を変えることだ。どちらも重みを更新する学習はしていない。&lt;/p&gt;
&lt;p&gt;語彙を64kへ絞ると、テキストモデルのパラメータは4.629Bから2.565Bへ44.6%減った。bf16の重みは9.26GBから5.13GBになった一方、同じ文字列を予測する損失は英語で約3.4%、日本語で約1.1%悪化した。MLPの層別配分も均等削除より良くなったが、縮む量は控えめだった。今回は、どこを削るかで容量への効き方がずいぶん違った。&lt;/p&gt;
&lt;h2 id="大きかったのは語彙に比例する表だった"&gt;大きかったのは語彙に比例する表だった&lt;/h2&gt;
&lt;p&gt;対象は&lt;a href="https://huggingface.co/google/gemma-4-E2B"&gt;Gemma 4 E2B&lt;/a&gt;のテキスト部分。環境はApple M3、メモリ16GB、MLX、mlx-lm 0.32.2で、前回と同じだ。画像・音声の機能を含む元ファイルの容量と、テキストモデルの容量は混ぜない。&lt;/p&gt;
&lt;p&gt;語彙数は262,144。入力の埋め込み表は出力層と重みを共有し、さらに層ごとの入力に使う埋め込み表がある。&lt;a href="https://github.com/ml-explore/mlx-lm/blob/v0.32.2/mlx_lm/models/gemma4_text.py"&gt;使用版の実装&lt;/a&gt;でも、&lt;code&gt;embed_tokens&lt;/code&gt;、&lt;code&gt;embed_tokens_per_layer&lt;/code&gt;と、出力に埋め込みの重みを使う処理を確認できる。この二つの表を合わせると、実験で数えたパラメータの約6割、約2.75Bを占めていた。&lt;/p&gt;
&lt;p&gt;報告にある概算は、残す語彙数を&lt;code&gt;V&lt;/code&gt;として&lt;code&gt;約1.88B + V × 10,496&lt;/code&gt;。MLPの一部分より、こちらを減らすほうが全体の容量には効きそうだ。ただし、出せるトークンを削るので、使う言語や文章によって代償が変わる。&lt;/p&gt;
&lt;h2 id="英語と日本語から残す語彙を選ぶ"&gt;英語と日本語から残す語彙を選ぶ&lt;/h2&gt;
&lt;p&gt;英語は&lt;a href="https://huggingface.co/datasets/Salesforce/wikitext"&gt;WikiText-2&lt;/a&gt;の学習分割で約246万トークン、日本語は&lt;a href="https://huggingface.co/datasets/google/wiki40b"&gt;Wiki40B-ja&lt;/a&gt;のvalidation分割で約2,461万トークンを数えた。両言語の相対頻度を平均し、その値が高いものを優先する。生の出現回数を足すと、今回の大きな日本語コーパス側へ偏るためだ。&lt;/p&gt;
&lt;p&gt;特殊トークンと256個のバイトトークンは残し、64k、32k、16kの三段階を作った。以下の64kなどは実験で使った段階名である。&lt;/p&gt;
&lt;p&gt;表の行を切り出すだけでは終わらない。元のIDと新しいIDの対応を作り、二つの埋め込み表、出力側、トークナイザーをそろえる必要がある。トークナイザーにはBPEの結合規則もあるので、最終的に残したいトークンだけ選んでも、それを作る途中の部品が無ければ同じ分割にはならない。&lt;/p&gt;
&lt;p&gt;今回は、残す各トークンの文字列を単独でBPEにかけ、その途中で必要になるトークンも残す形にした。結合規則は、二つの部品と結合後のトークンがすべて残るものを、元の順番で残す。あるトークンを作りうる結合をすべてたどる方式は、複数の結合経路があるトークンが約16万個あり、今回の方法には使えなかった。&lt;/p&gt;
&lt;p&gt;削ったトークンを含む文字列も、細かい断片やバイトへ分かれるので、直ちに未知トークンになるわけではない。ただ、同じ文章を表すトークン数は増える。表現できることと、元と同じ分割・品質で扱えることは別になる。&lt;/p&gt;
&lt;h2 id="ロジットが同じでも分布は同じではない"&gt;ロジットが同じでも、分布は同じではない&lt;/h2&gt;
&lt;p&gt;残したトークンだけで書ける入力なら、対応する埋め込みの値は元と同じままだ。報告では、元のモデルと切り出したモデルについて、未見の6段落、855か所で、残したトークンのロジットの差が0だった。&lt;/p&gt;
&lt;p&gt;ここで同じなのは、対応する出力候補のスコアだ。softmaxは残った候補だけで正規化し直すので、候補が減れば確率分布は変わる。削ったトークンへ元のモデルが確率を割り当てていたことや、入力の分割が変わることは、そのまま品質に影響する。ロジットの一致だけから、元と同じ文章を出すとは言えない。&lt;/p&gt;
&lt;p&gt;「未見の文章の99.9%以上のトークンを元と同じに表せる」という見通しも立てたが、これは外れた。&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;残す語彙&lt;/th&gt;
&lt;th style="text-align: right"&gt;英語の語彙外率&lt;/th&gt;
&lt;th style="text-align: right"&gt;英語のトークン数増加&lt;/th&gt;
&lt;th style="text-align: right"&gt;日本語の語彙外率&lt;/th&gt;
&lt;th style="text-align: right"&gt;日本語のトークン数増加&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;64k&lt;/td&gt;
&lt;td style="text-align: right"&gt;1.45%&lt;/td&gt;
&lt;td style="text-align: right"&gt;+1.6%&lt;/td&gt;
&lt;td style="text-align: right"&gt;0.33%&lt;/td&gt;
&lt;td style="text-align: right"&gt;+0.4%&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;32k&lt;/td&gt;
&lt;td style="text-align: right"&gt;5.69%&lt;/td&gt;
&lt;td style="text-align: right"&gt;+7.0%&lt;/td&gt;
&lt;td style="text-align: right"&gt;1.12%&lt;/td&gt;
&lt;td style="text-align: right"&gt;+1.6%&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;16k&lt;/td&gt;
&lt;td style="text-align: right"&gt;12.86%&lt;/td&gt;
&lt;td style="text-align: right"&gt;+18.9%&lt;/td&gt;
&lt;td style="text-align: right"&gt;3.43%&lt;/td&gt;
&lt;td style="text-align: right"&gt;+4.9%&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;ここでの語彙外は、元の分割に現れたトークンのうち削った語彙に当たる割合で、文章を符号化できなかった割合ではない。選定には使っていない各データセットのテスト分割で測っている。&lt;/p&gt;
&lt;p&gt;64kの英語で語彙外になったトークンのうち42%は、選定用の文章に一度も出なかったものだった。固有名詞の断片などがあり、英語の選定用テキストが小さかったことは原因の候補になる。ただし、語彙を選び直して確かめた結果ではない。&lt;/p&gt;
&lt;p&gt;元の分割が残した語彙だけで済む段落については、縮小後も分割が一致した。64kでは英語1,401/1,401段落、日本語43,879/43,879段落で確認した。この分母は条件を満たす段落の数で、評価した全段落が無条件に一致したという意味ではない。&lt;/p&gt;
&lt;h2 id="分割が変わるので品質はbpbで比べる"&gt;分割が変わるので、品質はBPBで比べる&lt;/h2&gt;
&lt;p&gt;トークンを細かくすると、1トークンあたりの予測の難しさも変わる。元と縮小後のperplexityをそのまま並べても、同じ単位の比較にならない。&lt;/p&gt;
&lt;p&gt;そこで同じ文字列の負の対数尤度をビットへ直し、バイト数で割ったBPB、bits per byteで比べた。小さいほど良い。評価はWikiText-2とWiki40B-jaのテスト分割から各約6.6万トークン相当の文章を使い、語彙を変えても段落の区切りはそろえた。&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;残す語彙&lt;/th&gt;
&lt;th style="text-align: right"&gt;英語BPB&lt;/th&gt;
&lt;th style="text-align: right"&gt;元からの変化&lt;/th&gt;
&lt;th style="text-align: right"&gt;日本語BPB&lt;/th&gt;
&lt;th style="text-align: right"&gt;元からの変化&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;元の262,144&lt;/td&gt;
&lt;td style="text-align: right"&gt;0.801&lt;/td&gt;
&lt;td style="text-align: right"&gt;—&lt;/td&gt;
&lt;td style="text-align: right"&gt;0.780&lt;/td&gt;
&lt;td style="text-align: right"&gt;—&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;64k&lt;/td&gt;
&lt;td style="text-align: right"&gt;0.829&lt;/td&gt;
&lt;td style="text-align: right"&gt;+3.4%&lt;/td&gt;
&lt;td style="text-align: right"&gt;0.789&lt;/td&gt;
&lt;td style="text-align: right"&gt;+1.1%&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;32k&lt;/td&gt;
&lt;td style="text-align: right"&gt;0.933&lt;/td&gt;
&lt;td style="text-align: right"&gt;+16.5%&lt;/td&gt;
&lt;td style="text-align: right"&gt;0.818&lt;/td&gt;
&lt;td style="text-align: right"&gt;+4.9%&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;16k&lt;/td&gt;
&lt;td style="text-align: right"&gt;1.200&lt;/td&gt;
&lt;td style="text-align: right"&gt;+49.7%&lt;/td&gt;
&lt;td style="text-align: right"&gt;0.907&lt;/td&gt;
&lt;td style="text-align: right"&gt;+16.3%&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;64kのBPB差は英語が+0.0275、95%信頼区間は[+0.0235, +0.0317]。日本語は+0.0087、[+0.0060, +0.0116]だった。段落を単位とした対応ありブートストラップ10,000回の結果で、どちらも小さいが有意な悪化になった。表示値は丸めているので、表の引き算と報告の差は末尾まで一致しない。&lt;/p&gt;</description></item><item><title>Gemma 4 E2BのMLPチャネル削除によるモデル縮小と推論性能の検証</title><link>https://blog.ast.moe/blog/2026-11-18/</link><pubDate>Wed, 18 Nov 2026 13:27:40 +0900</pubDate><guid>https://blog.ast.moe/blog/2026-11-18/</guid><description>&lt;p&gt;&lt;a href="https://blog.ast.moe/blog/2026-11-17/"&gt;前回はGemma 4 E2Bの重みを、学習し直さずに0にする実験をした&lt;/a&gt;。小さい絶対値の重みを行列ごとに選ぶと、対象の20%を消してもWikiText-2のperplexityは約1.13倍だった。しかし、重みの配列の形は変わらない。予測性能がある程度残ることは分かっても、モデルを小さく保存できたわけでも、速く動かせたわけでもなかった。&lt;/p&gt;
&lt;p&gt;今回はMLPの中間チャネルを丸ごと削り、行列そのものを小さくした。重みを更新する学習は行っていない。削る位置をどう選べば性能を残せるかを調べ、その後に保存したモデルの大きさ、メモリ、速度を測った。8ビット量子化との併用も比較した。&lt;/p&gt;
&lt;p&gt;先に主要な結果を書く。層出力への影響に基づいて約10%のMLPチャネルを削ると、perplexityは9.628から10.267へ約1.07倍になった。bf16の重みサイズは9.26GBから8.93GBへ約3.5%減り、生成速度は16.5から17.5トークン/秒へ上がった。8ビット量子化を重ねた場合も、チャネル削除による追加の縮小と高速化が見られた。&lt;/p&gt;
&lt;p&gt;一方、重みの大きさだけでチャネルを選ぶという最初の仮説は外れた。同じ10%削除でも、RMSNormの倍率を考慮した重みノルム方式はperplexityが約3.99倍、ランダム方式は約1.39倍で、ノルム方式のほうが悪かった。前回の非構造的な枝刈りでうまくいった基準を、そのままチャネル単位へ持ち込むことはできなかった。&lt;/p&gt;
&lt;h2 id="検証の目的と前回との差分"&gt;検証の目的と前回との差分&lt;/h2&gt;
&lt;h3 id="非構造的枝刈りで残った課題"&gt;非構造的枝刈りで残った課題&lt;/h3&gt;
&lt;p&gt;前回は、対象の重み行列から個々の要素を選び、値を0に置き換えた。行列が&lt;code&gt;6144 × d&lt;/code&gt;なら、削除後も&lt;code&gt;6144 × d&lt;/code&gt;のままだ。0が増えても、通常の密行列として保存・計算すれば、要素を並べる領域も演算の形も変わらない。&lt;/p&gt;
&lt;p&gt;その実験が調べたのは、どの重みを消したときに予測の損失が小さいかという問題だった。選ぶ場所に意味があることは確認できたが、0を飛ばす実装や疎な保存形式にはしていなかった。したがって、今回の出発点は「前回より多く0にする」ではなく、「実行する行列の次元を減らす」ことになる。&lt;/p&gt;
&lt;p&gt;この二つは似て見えて、使える自由度が違う。個々の重みを選ぶなら、あるチャネルの中の一部だけを残せる。チャネルごと削る場合は、そのチャネルに関係する複数の行列の要素をまとめて失う。小さい値だけを拾って消すことはできない。代わりに、一般的な密行列のまま計算量を減らせる可能性がある。&lt;/p&gt;
&lt;h3 id="今回の仮説"&gt;今回の仮説&lt;/h3&gt;
&lt;p&gt;最初の仮説は、MLPの中間チャネルを重みの大きさで順位付けし、弱そうなものから取り除けば、学習なしでも小さく速いモデルを作れるのではないか、というものだった。前回は小さい重みを選ぶ方式がランダムよりかなり良かったので、その発想をチャネルへ広げた。&lt;/p&gt;
&lt;p&gt;ただし、構造をまとめて削るので、前回より少ない削除率で崩れると予想した。重みを1個ずつ消す場合よりも制約が強いという見通しだ。予測性能だけでなく、本当に行列が小さく保存され、速度へ反映することまで確認する必要がある。&lt;/p&gt;
&lt;p&gt;実際にはノルム方式の劣化が大きく、この仮説の選択基準はうまくいかなかった。そこで、校正用の文章を流したときに、各チャネルが実際にどれだけ働いているかを使えばよいのではないか、という第二の仮説を立てた。活性の大きさと、チャネルを外したときの層出力の変化を調べることにした。&lt;/p&gt;
&lt;p&gt;この順序は記録しておきたい。最初から出力変化による方式だけを試して成功したのではなく、重みノルムでの失敗を受けて選び方を変えている。後の結果は、当初の仮説すべてを確認したものではない。&lt;/p&gt;
&lt;h3 id="学習なしとデータを使わないことの違い"&gt;学習なしと、データを使わないことの違い&lt;/h3&gt;
&lt;p&gt;今回も重みを勾配で更新する学習はしていない。ただし、活性を使う方式では、チャネルの重要度を測るために文章をモデルへ通す。重みだけを見れば計算できるノルム方式とは、情報の使い方が違う。&lt;/p&gt;
&lt;p&gt;「学習なし」は、データが不要、処理が無料、前処理がない、という意味ではない。校正用の順伝播、その結果の集計、候補方式の比較、モデルの保存、性能評価が必要になる。これらの準備費用を含めた総時間の短縮は、今回の推論速度の表からは分からない。&lt;/p&gt;
&lt;p&gt;また、初期値へ戻して再学習していないので、前回と同様に宝くじ仮説そのものを検証する実験ではない。対象は学習済みモデルが持つ予測能力を、どの程度保って物理的に小さくできるかだ。&lt;/p&gt;
&lt;h2 id="実験環境とモデルの範囲"&gt;実験環境とモデルの範囲&lt;/h2&gt;
&lt;h3 id="ハードウェアと実行系"&gt;ハードウェアと実行系&lt;/h3&gt;
&lt;p&gt;実行環境はApple M3、メモリ16GBのMacで、MLXとmlx-lm 0.32.2を使った。対象は&lt;a href="https://huggingface.co/google/gemma-4-E2B"&gt;google/gemma-4-E2B&lt;/a&gt;。元の精度はbf16で、保存した縮小モデルについてもbf16と8ビット量子化の両方を比較した。&lt;/p&gt;
&lt;p&gt;この記事の数値は、その環境で行った実験記録による。記事の執筆時にモデル評価や速度測定を最初から実行し直したものではない。小数点以下の多い生ログではなく、実験報告で整理した丸め値を中心に掲載する。表示値から計算した比率は、元の未丸め値から求めた比率と少しずれることがある。&lt;/p&gt;
&lt;p&gt;特に速度の百分率は、表の1桁小数を割り算して再計算するより、実験で集計した改善率をそのまま載せる。たとえば16.5と17.5だけから計算した値は、記録した約6.3%と完全には一致しない。元の測定値を丸めてから表示しているためだ。&lt;/p&gt;
&lt;h3 id="テキスト部分を比較対象にする"&gt;テキスト部分を比較対象にする&lt;/h3&gt;
&lt;p&gt;保存したモデルはテキスト部分だけで、画像と音声の部分を含まない。元の配布ファイルは10.25GBだが、そこには今回保存していない部分も入る。そのサイズと縮小後のテキストモデルを直接比べると、MLP削除の効果を大きく見せてしまう。&lt;/p&gt;
&lt;p&gt;そこでサイズ比較では、読み込んだテキストモデルの重みを基準にした。元のbf16重みは9.26GB、縮小後は8.93GB。パラメータ数も、比較対象として読み込んだテキスト部分の4.629Bと4.466Bを使う。モデル名のE2Bという表記を、そのまま総パラメータ数と読み替えない。&lt;/p&gt;
&lt;p&gt;&lt;a href="https://huggingface.co/google/gemma-4-E2B"&gt;モデルカード&lt;/a&gt;では、E系モデルは層ごとの埋め込みを使う構成として説明されている。今回は実験で数えたテキストモデルの範囲を一貫して使い、画像・音声を落としたことによる差と、MLPを削ったことによる差を分けた。&lt;/p&gt;
&lt;h3 id="削除対象とした構造"&gt;削除対象とした構造&lt;/h3&gt;
&lt;p&gt;対象は35層すべてのMLP中間チャネルで、attentionのヘッド数、隠れ状態の幅、語彙数、埋め込み表そのものは変更していない。層の数も減らしていない。残したattentionや埋め込みを含めたモデル全体の重み数を数え直し、保存モデルの比較へ使った。&lt;/p&gt;
&lt;p&gt;後半20層のMLPは前半より2倍幅になる。この構成は&lt;a href="https://github.com/ml-explore/mlx-lm/blob/v0.32.2/mlx_lm/models/gemma4_text.py#L99"&gt;使用版mlx-lmのMLP実装&lt;/a&gt;でも確認できる。基準の中間幅は6144で、2倍幅の層では12288になる。&lt;/p&gt;
&lt;p&gt;全層を同じ比率で減らし、基準となる残存チャネル数を64の倍数に合わせた。後半の層はその2倍を残す。この制約により、設定ファイルの&lt;code&gt;intermediate_size&lt;/code&gt;を一つの値に保ち、mlx-lmでそのまま読み込める構成にした。層ごとに任意の幅を割り当てる探索はしていない。&lt;/p&gt;
&lt;h2 id="mlpチャネル削除の実装上の意味"&gt;MLPチャネル削除の実装上の意味&lt;/h2&gt;
&lt;h3 id="三つの行列から対応する位置を削る"&gt;三つの行列から対応する位置を削る&lt;/h3&gt;
&lt;p&gt;今回扱うMLPは、概略を式で書くと次の形になる。ここではベクトルを列として表し、細かい正規化や残差接続は次の節で分ける。&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"&gt;&lt;code class="language-text" data-lang="text"&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;h(x) = gelu(W_gate x) ⊙ (W_up x)
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;y(x) = W_down h(x)
&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&lt;code&gt;W_gate&lt;/code&gt;と&lt;code&gt;W_up&lt;/code&gt;は隠れ状態を中間チャネルへ写し、&lt;code&gt;W_down&lt;/code&gt;は中間チャネルを隠れ状態の幅へ戻す。&lt;code&gt;⊙&lt;/code&gt;は要素ごとの積だ。基準中間幅を&lt;code&gt;k&lt;/code&gt;、隠れ状態の幅を&lt;code&gt;d&lt;/code&gt;とすれば、保存される重みの形は&lt;code&gt;gate: k × d&lt;/code&gt;、&lt;code&gt;up: k × d&lt;/code&gt;、&lt;code&gt;down: d × k&lt;/code&gt;になる。&lt;/p&gt;
&lt;p&gt;中間チャネル&lt;code&gt;j&lt;/code&gt;を消すなら、&lt;code&gt;gate&lt;/code&gt;の&lt;code&gt;j&lt;/code&gt;行目、&lt;code&gt;up&lt;/code&gt;の&lt;code&gt;j&lt;/code&gt;行目、&lt;code&gt;down&lt;/code&gt;の&lt;code&gt;j&lt;/code&gt;列目を対応させて消す。三つの行列で同じチャネル集合を残すことが必要だ。&lt;code&gt;gate&lt;/code&gt;だけを削る、違う番号の列を&lt;code&gt;down&lt;/code&gt;から削る、といった変更では同じ計算にならない。&lt;/p&gt;
&lt;p&gt;残す集合を&lt;code&gt;S&lt;/code&gt;とすると、説明用の擬似コードでは次のようになる。これは処理の意味を示すもので、そのまま実験スクリプトへ貼るためのコードではない。&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"&gt;&lt;code class="language-python" data-lang="python"&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;W_gate_small &lt;span style="color:#f92672"&gt;=&lt;/span&gt; W_gate[S, :]
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;W_up_small &lt;span style="color:#f92672"&gt;=&lt;/span&gt; W_up[S, :]
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;W_down_small &lt;span style="color:#f92672"&gt;=&lt;/span&gt; W_down[:, S]
&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;残存チャネルの値を別の学習で補正するのではなく、元の値から対応する部分を切り出す。削除したチャネルの寄与は失うが、残したチャネルについては同じ入力に対するMLP内部の計算を維持できる。小さい行列として再配置することが、単に重みを0にする前回の方法との違いになる。&lt;/p&gt;</description></item></channel></rss>