quantization
-
Terrarium。1 bit の本体に INT4 の低ランク補正を足す共同学習と、知識が残ったかを判定する門
Dragon-Bonsai から改称した Terrarium の数値契約（1 bit + 群 1024 + rank 128 の INT4 …
-
Bonsai 2 の符号は「回転して丸めた」ものだった。1 bit 化に重みの移植は要らない
公開されている 3 値モデル Bonsai 2 の metadata から回転の仕様を再現し、元モデル Qwen3.8 の重みを回して符号を…
-
刈った模型を 1 bit に戻す。素の丸めは 6,874 倍、学習済みの重みを貼れば 8.2 倍、出力を目標に 6 分学習して 1.6 倍
44 層に刈り込んだ 27B を再び 1 bit にする実験。元の重みを素の符号に丸めると perplexity は 6,874 倍に壊れ、…
-
Qwen3.5 9B を INT8 にして Hexagon NPU に載せる。QNN converter の signal 11 を越えるまで
Qwen3.5-9B を QNN の INT8 dense に量子化する過程で、converter の量子化器が signal 11 で落ち…