量子化

AIニュース

Qwen 3.6 27Bの量子化、どこまで落とせるか

r/LocalLLaMAに投稿されたQwen 3.6 27BのBF16〜IQ3_XXS量子化比較。16GB VRAMでどこまでビットを削れるかをPGN文字列で検証した個人テストを、確認できた事実だけで整理した。