speculative-decoding
-
1 bit の 27B を Qualcomm の NPU で 7.18 tok/s。Dragon-Bonsai 27B の到達点と、速度を決める 1 本の式
重みを 1 bit（1.125 bit/重み）にした 27B の言語モデルを、Qualcomm IQ-9075 の HTP 2 基に常駐させ…
think about
think about
重みを 1 bit（1.125 bit/重み）にした 27B の言語モデルを、Qualcomm IQ-9075 の HTP 2 基に常駐させ…