qualcomm
-
1 bit の 27B を Qualcomm の NPU で 7.18 tok/s。Dragon-Bonsai 27B の到達点と、速度を決める 1 本の式
重みを 1 bit（1.125 bit/重み）にした 27B の言語モデルを、Qualcomm IQ-9075 の HTP 2 基に常駐させ…
-
Qwen3.5 9B を Genie で対話させる。4 層 × 8 段の分割と、Speculative Decoding で見えた壁
INT8 に量子化した Qwen3.5-9B を 4 層ずつ 8 段に分け、Qualcomm の Genie で対話まで通した。投機的デコー…
-
Qwen3.5 9B を INT8 にして Hexagon NPU に載せる。QNN converter の signal 11 を越えるまで
Qwen3.5-9B を QNN の INT8 dense に量子化する過程で、converter の量子化器が signal 11 で落ち…
-
Fogwise AirBox Q900 の Hexagon NPU で Qwen3.5 9B を一発実行する。FP16 と FP32 の実測と「tokens/sec」の落とし穴
Qualcomm IQ-9075 を積んだ Radxa Fogwise AirBox Q900 で、Qwen3.5 9B を QNN の H…