bonsai
-
Bonsai 2 の符号は「回転して丸めた」ものだった。1 bit 化に重みの移植は要らない
公開されている 3 値モデル Bonsai 2 の metadata から回転の仕様を再現し、元モデル Qwen3.8 の重みを回して符号を…
-
刈った模型を 1 bit に戻す。素の丸めは 6,874 倍、学習済みの重みを貼れば 8.2 倍、出力を目標に 6 分学習して 1.6 倍
44 層に刈り込んだ 27B を再び 1 bit にする実験。元の重みを素の符号に丸めると perplexity は 6,874 倍に壊れ、…
-
27B を 18B に刈り込む。層の重要度で選ぶと 4,400 倍壊れ、perplexity で探すと 1.5 倍で済んだ
1 bit の 27B を NPU で速くするには重みを減らすしかない。64 層から 4 層ずつの組を落として 44 層にする探索で、層ごと…
-
1 bit の 27B を Qualcomm の NPU で 7.18 tok/s。Dragon-Bonsai 27B の到達点と、速度を決める 1 本の式
重みを 1 bit（1.125 bit/重み）にした 27B の言語モデルを、Qualcomm IQ-9075 の HTP 2 基に常駐させ…