gpu
-
Terrarium。1 bit の本体に INT4 の低ランク補正を足す共同学習と、知識が残ったかを判定する門
Dragon-Bonsai から改称した Terrarium の数値契約（1 bit + 群 1024 + rank 128 の INT4 …
-
Bonsai 2 の符号は「回転して丸めた」ものだった。1 bit 化に重みの移植は要らない
公開されている 3 値モデル Bonsai 2 の metadata から回転の仕様を再現し、元モデル Qwen3.8 の重みを回して符号を…
-
刈った模型を 1 bit に戻す。素の丸めは 6,874 倍、学習済みの重みを貼れば 8.2 倍、出力を目標に 6 分学習して 1.6 倍
44 層に刈り込んだ 27B を再び 1 bit にする実験。元の重みを素の符号に丸めると perplexity は 6,874 倍に壊れ、…
-
27B を 18B に刈り込む。層の重要度で選ぶと 4,400 倍壊れ、perplexity で探すと 1.5 倍で済んだ
1 bit の 27B を NPU で速くするには重みを減らすしかない。64 層から 4 層ずつの組を落として 44 層にする探索で、層ごと…