Qwen3-32B(GGUF Q6_K,官方量化)
候選情境測試尚未完成- 量化
- GGUF Q6_K(官方量化) (官方資料 · 原始連結 · Apache-2.0 · 取得於 2026-09-30)
- 最少記憶體
- 48 GB (估算 · 原始連結 · Apache-2.0 · 取得於 2026-09-30 · 假設:以權重檔 26.88 GB + 2 GB(執行環境與約 8K 上下文)估算,並假設 macOS 預設約 70% 統一記憶體可給 GPU 使用;更長上下文需要更多記憶體。)
為什麼列入
原廠模型卡說明本模型共 32.8B 密集參數,原生脈絡長度 32,768 token、以 YaRN 可延伸至 131,072 token,採 Apache-2.0 授權;定位為通用指令模型,可在思考/非思考模式間切換。此處選用 Q6_K 而非 4-bit;相應地,檔案較大、記憶體門檻較高。
技術與取捨
選用 Q6_K 而非 4-bit 量化,檔案較大、記憶體門檻較高;本站尚未實測與 BF16 原始權重或 4-bit 量化的品質差異。若開啟 YaRN 延伸脈絡,需要比本估算更多記憶體。