FP6から考えるLLM量子化: 限られたbitをどこに配るか

Thu, 24 Sep 2026 13:43:00 +0900

LLMの量子化について調べながら、そもそもFP8を使うのはどういう場面だろう、と考えていた。さらに調べるとFP6やFP4もある。6bitという半端な幅はどう保存するのか、そこまでbit数を減らした浮動小数点はどのくらいの精度で値を表せるのかが気になった。

FP6の表現可能な値を並べてみると、普段使う浮動小数点ではあまり意識しない、隣り合う値の間隔がはっきり見える。同じ6bitでも指数と仮数への配分によってその間隔が変わる。ならば、重みの分布に合わせて表現を選べないだろうか。

最初は単に「6bitはどう保存するのか」という疑問だったのに、表現可能な値を見ているうちに、どの値を正確に残すかという話になった。そこから、情報の偏りに合わせて少ないbitを配分するという点で、画像圧縮のことを思い出した。さらに、圧縮に時間をかけて結果をよくするZopfliのことも連想した。

この記事で考えたい問いは、限られた保存bit数をどこに、どんな表現で割り当てれば、モデルの挙動を壊しにくいかというものだ。まずFP6で失われる値を具体的に見て、そこから立てた仮説をJPEGやZopfliの発想、既存の量子化研究と照らす。最後に、何を改善とみなして測るべきかを考える。

量子化方式を実装・評価した結果ではない。以下は、数値表現の観察を出発点にした仮説と、先行研究から分かる範囲を分けて書いたものになる。

背景: 6bitへの疑問

量子化と6bitの保存

LLMの重みはFP16やBF16などで保持されることが多い。量子化は、これをINT8、INT4、FP8、FP6などの少ないbit数で近似し、モデルサイズや重みを読み出すメモリ帯域を減らす方法だ。対応する演算器やkernelがあれば計算の高速化にもつながるが、bit数を減らすだけで必ず速くなるわけではない。

30B、つまり300億個の重みをすべて16bitで持つなら、重みだけで約60GBになる。8bitなら単純計算で約30GB、6bitなら約22.5GB、4bitなら約15GBだ。GPUが計算するたびに大量の重みをメモリから運ぶことを考えると、この差は保存容量だけの話ではない。ただし、実際にはscaleなどのメタデータが付くし、実行時にはactivationやKV cacheなど重み以外のメモリも必要なので、この数字がそのまま必要容量になるわけではない。

コンピュータでは8bit、16bit、32bit、64bitのような幅をよく見る。6bitの値は8bitの箱へ入れて残り2bitを捨てるのかと思ったが、そうすると容量面では8bitと変わらない。実際には複数の値をbit単位で詰められる。6bitの値が4個なら24bitなので、3byteへ収まる。

6bit × 4個 = 24bit = 3byte

DRAMは物理的にはbitを記憶し、CPUからは通常byte単位のアドレス空間として扱う。6bitごとにアドレスを割り当てる必要はなく、読み出したbyte列から目的の値を展開すればよい。例えば3byteをまとめて読み、そこから4個の6bit値を取り出す。

ただし、byteの境界をまたぐ値は取り出すときにshiftやmaskが要る。値を計算用の形式へ展開し、scaleを適用する処理も入る。大量の重みをSIMDやGPUのkernelでまとめて処理するとしても、packingとunpackingは無料ではない。メモリから運ぶ量を25%減らせても、展開が遅ければ8bitより速いとは限らない。「6bitなら8bitより25%小さい」と「6bitなら8bitより速い」は別の主張だ。

この区別は後でZopfliの話につながる。モデルを作るときの計算を重くすることは許容できても、推論のたびに複雑な展開をするなら、その費用はずっと払い続けることになる。

FP6で隣り合う値の間隔を見てみる

FP8は、値の範囲と精度をある程度保ちながらデータ量や転送量を減らす選択肢になる。では、さらに少ないFP6やFP4ではどうなるのか。 OCPのMX形式仕様には、FP8、FP6、FP4を使う形式が載っている。ここではFP6のE3M2とE2M3を見てみる。名前は符号以外の指数bit数と仮数bit数を表す。

形式	符号	指数	仮数	傾向
E3M2	1bit	3bit	2bit	広い範囲を表せるが値の間隔は粗い
E2M3	1bit	2bit	3bit	範囲は狭いが間隔は細かい

スケールを掛ける前の正の値だけを見ると、隣り合う表現可能値の距離は次のようになる。

形式	0付近の最小間隔	大きい値の側の最大間隔
E3M2	`0, 0.0625, 0.125` の間は `0.0625`	`16, 20, 24, 28` の間は `4`
E2M3	`0, 0.125, 0.25` の間は `0.125`	`4, 4.5, 5, ..., 7.5` の間は `0.5`

例えばE3M2で8から14までがどうできるかを考える。指数部によって基準になる大きさが8になり、仮数の2bitで1.00、1.01、1.10、1.11の4通りを表す。それぞれ8、10、12、14だ。次の指数帯に入ると基準が16になり、16、20、24、28と並ぶ。保存している仮数の刻みは同じでも、指数が一つ上がれば絶対的な距離は倍になる。