
LATEST ENTRY
Gemma 4 E2Bをさらに小さくする。語彙削減と層ごとのMLP配分を試した
Gemma 4 E2Bを再学習せず、英日向けの語彙削減とMLPチャネルの層別配分を試した。64k語彙でパラメータを44.6%減らしたときのBPB・速度・メモリの変化と、層の感度を測って削除率を変えた結果を記録する。
記事を読むWEBLOG / PERSONAL ARCHIVE
写真、山、ソフトウェア、日々のメモを記録しています。
タグから探す
LATEST ENTRY
Gemma 4 E2Bを再学習せず、英日向けの語彙削減とMLPチャネルの層別配分を試した。64k語彙でパラメータを44.6%減らしたときのBPB・速度・メモリの変化と、層の感度を測って削除率を変えた結果を記録する。
記事を読むALL ENTRIES
243 postsIzanagiのQEMU環境で、guest rootによるeBPF map改ざん、イベント欠落、HMAC鍵の取得を実測し、仮想NICの通信記録を独立した証人として使えるか調べた。成立した攻撃、対策後の挙動、今後の検証項目を整理する。
Gemma 4 E2BのMLP中間チャネルを再学習せずに削除し、重みサイズ・メモリ・推論速度・perplexityを比較した。重みノルムと活性に基づく選択の差、RMSNormの影響、8ビット量子化との併用を検証する。
macOSでrustup updateがcleanupから進まないように見えた。sampleとfs_usageで再帰削除とopenatの遅延を確認し、一時ディレクトリの容量変化と手動削除の結果を記録した。
Sakuraの承認待ち通知が、結果0件でもD1の読み取り枠を大量に消費していた。実行回数と走査行数を分けて調べ、SQLiteの実行計画とCROSS JOINによる結合順序の修正を検証した記録。
宝くじ仮説をきっかけに、Gemma 4 E2Bを再学習せずに枝刈りした。M3・16GBのMacで行列ごと・全体・ランダムの3方式を比較し、WikiText-2のperplexityと劣化が急になる範囲を記録する。
三豊市うらしまマラソンを走ってきた。初めての雨の大会で、ぬかるんだグラウンドにあたふたし、去年より4分ほど遅い結果に。次のあかがねマラソンに向けて鍛錬したい。
izanagi-tempestで、監視プロセスが死んだ後の後片付けをどう引き継ぐか考えている。死亡確認、回収権限、故障記録の課題を整理し、調べて参考になった論文やcontainerdの実装を紹介する。
Sakuraで投稿本文を端末側で暗号化し、OGP画像を暗号化してR2へ分けた。D1に保存する情報、端末への鍵配送、参加権限の検査、DB流出だけを対象にした場合の制約をまとめる。