Qwen3-8B(GGUF Q4_K_M,官方量化)

候選情境測試尚未完成
量化
GGUF Q4_K_M(官方量化) (官方資料 · 原始連結 · Apache-2.0 · 取得於 2026-09-30)
最少記憶體
16 GB (估算 · 原始連結 · Apache-2.0 · 取得於 2026-09-30 · 假設:以權重檔 5.03 GB + 2 GB(執行環境與約 8K 上下文)估算,並假設 macOS 預設約 70% 統一記憶體可給 GPU 使用;更長上下文需要更多記憶體。)

為什麼列入

原廠模型卡說明本模型共 82 億參數(不含嵌入層 69.5 億),原生脈絡長度 32,768 token、以 YaRN 可延伸至 131,072 token,採 Apache-2.0 授權;定位為可在「思考模式」與「非思考模式」間切換的通用指令模型,官方模型卡提及其在數學、程式生成、多語與代理應用上的能力,未特別定位為程式專用模型。

技術與取捨

Q4_K_M 為 4-bit 量化,相較官方 BF16 權重有精度損失,本站尚未實測差異;若開啟 YaRN 延伸脈絡到 131,072 token,需要比本估算更多的記憶體。此量化檔案由 Qwen 官方發布。

來源

全部模型