{
  "description": "Rounded values transcribed from the experiment report; not raw per-window or per-run measurements.",
  "tables": [
    {
      "columns": [
        "選び方",
        "10%削除",
        "20%削除"
      ],
      "rows": [
        [
          "重みのノルム(生の値)",
          "439.4(50.7倍)",
          "6,769.0(780.9倍)"
        ],
        [
          "重みのノルム(RMSNorm の倍率込み)",
          "33.39(3.85倍)",
          "140.5(16.2倍)"
        ],
        [
          "活性の大きさ(act)",
          "9.30(1.07倍)",
          "10.41(1.20倍)"
        ],
        [
          "層出力の変化(act_err)",
          "9.27(1.07倍)",
          "10.35(1.19倍)"
        ]
      ]
    },
    {
      "columns": [
        "削除",
        "残したチャネル",
        "パラメータ",
        "層出力の変化(act_err)",
        "ランダム",
        "重みのノルム(倍率込み)",
        "#16310 の層ごと(同じ数を刈った場合)"
      ],
      "rows": [
        [
          "0%",
          "6144",
          "4.63B",
          "9.63",
          "9.63",
          "9.63",
          "9.63"
        ],
        [
          "5%",
          "5824(2倍幅の層は11648)",
          "4.55B(-1.8%)",
          "9.89(1.03倍)",
          "11.16(1.16倍)",
          "19.15(1.99倍)",
          "9.63(1.00倍)"
        ],
        [
          "10%",
          "5504(2倍幅の層は11008)",
          "4.47B(-3.5%)",
          "10.27(1.07倍)",
          "13.42(1.39倍)",
          "38.42(3.99倍)",
          "9.72(1.01倍)"
        ],
        [
          "15%",
          "5248(2倍幅の層は10496)",
          "4.40B(-4.9%)",
          "10.69(1.11倍)",
          "16.32(1.70倍)",
          "–",
          "9.89(1.03倍)"
        ],
        [
          "20%",
          "4928(2倍幅の層は9856)",
          "4.32B(-6.7%)",
          "11.44(1.19倍)",
          "23.99(2.49倍)",
          "–",
          "10.33(1.07倍)"
        ],
        [
          "25%",
          "4608(2倍幅の層は9216)",
          "4.24B(-8.4%)",
          "12.56(1.30倍)",
          "74.81(7.77倍)",
          "–",
          "11.22(1.17倍)"
        ],
        [
          "30%",
          "4288(2倍幅の層は8576)",
          "4.16B(-10.2%)",
          "14.18(1.47倍)",
          "142.8(14.8倍)",
          "–",
          "13.37(1.39倍)"
        ],
        [
          "35%",
          "3968(2倍幅の層は7936)",
          "4.08B(-11.9%)",
          "16.91(1.76倍)",
          "–",
          "–",
          "21.27(2.21倍)"
        ],
        [
          "40%",
          "3712(2倍幅の層は7424)",
          "4.01B(-13.3%)",
          "20.27(2.11倍)",
          "–",
          "–",
          "45.50(4.73倍)"
        ]
      ]
    },
    {
      "columns": [
        "",
        "元(bf16)",
        "10%削除(bf16)",
        "元(8ビット)",
        "10%削除(8ビット)"
      ],
      "rows": [
        [
          "パラメータ",
          "4.629B",
          "4.466B",
          "同左",
          "同左"
        ],
        [
          "重みの大きさ",
          "9.26 GB",
          "8.93 GB(-3.5%)",
          "4.92 GB",
          "4.75 GB"
        ],
        [
          "生成時のピークメモリ",
          "9.61 GB",
          "9.31 GB",
          "5.47 GB",
          "5.29 GB"
        ],
        [
          "プロンプト処理(トークン/秒)",
          "1,533",
          "1,637(+6.7%)",
          "1,687",
          "1,794(+6.3%)"
        ],
        [
          "生成(トークン/秒)",
          "16.5",
          "17.5(+6.3%)",
          "29.5",
          "32.7(+10.7%)"
        ],
        [
          "perplexity",
          "9.628",
          "10.267",
          "9.629",
          "10.263"
        ]
      ]
    }
  ]
}
