Gemma 4 E2Bをさらに小さくする。語彙削減と層ごとのMLP配分を試した
Gemma 4 E2Bを再学習せず、英日向けの語彙削減とMLPチャネルの層別配分を試した。64k語彙でパラメータを44.6%減らしたときのBPB・速度・メモリの変化と、層の感度を測って削除率を変えた結果を記録する。
COLLECTION
Gemma 4 E2Bを再学習せず、英日向けの語彙削減とMLPチャネルの層別配分を試した。64k語彙でパラメータを44.6%減らしたときのBPB・速度・メモリの変化と、層の感度を測って削除率を変えた結果を記録する。
Gemma 4 E2BのMLP中間チャネルを再学習せずに削除し、重みサイズ・メモリ・推論速度・perplexityを比較した。重みノルムと活性に基づく選択の差、RMSNormの影響、8ビット量子化との併用を検証する。