Qwen2.5 14B Instruct(GGUF Q4_K_M,官方量化)

候選情境測試尚未完成
量化
GGUF Q4_K_M(3 分片) (官方資料 · 原始連結 · Apache-2.0 · 取得於 2026-10-08)
最少記憶體
16 GB (估算 · 原始連結 · Apache-2.0 · 取得於 2026-10-08 · 假設:以官方 GGUF 3 片合計 8.99 GB + 2 GB(執行環境與約 8K 上下文)估算,並假設 macOS 約 70% 統一記憶體可給 GPU 使用;更長上下文需要更多記憶體。)

為什麼列入

原廠發布 Qwen2.5 14B Instruct 的 Q4_K_M GGUF 指令/對話模型;列為本機對話候選,本站尚未實測表現。

技術與取捨

Q4_K_M 量化相對全精度權重可能損失品質;本站尚未實測差異。 官方檔案分成 3 片,須下載同一組所有分片才能載入;本站以各片總大小估算,不可只下載首片。

來源

全部模型