genie

INT8 に量子化した Qwen3.5-9B を 4 層ずつ 8 段に分け、Qualcomm の Genie で対話まで通した。投機的デコー…

続きを読む →