qat
-
Terrarium。1 bit の本体に INT4 の低ランク補正を足す共同学習と、知識が残ったかを判定する門
Dragon-Bonsai から改称した Terrarium の数値契約（1 bit + 群 1024 + rank 128 の INT4 …
-
刈った模型を 1 bit に戻す。素の丸めは 6,874 倍、学習済みの重みを貼れば 8.2 倍、出力を目標に 6 分学習して 1.6 倍
44 層に刈り込んだ 27B を再び 1 bit にする実験。元の重みを素の符号に丸めると perplexity は 6,874 倍に壊れ、…