Devstral Small 2 24B(GGUF Q4_K_M)

候選情境測試尚未完成
量化
GGUF Q4_K_M (估算 · 原始連結 · Apache-2.0 · 取得於 2026-09-30 · 假設:社群轉檔(unsloth),非原廠發布;檔案大小取自該轉檔頁。)
最少記憶體
24 GB (估算 · 原始連結 · Apache-2.0 · 取得於 2026-09-30 · 假設:以權重檔 14.33 GB + 2 GB(執行環境與約 8K 上下文)估算,並假設 macOS 預設約 70% 統一記憶體可給 GPU 使用;更長上下文需要更多記憶體。)

為什麼列入

Mistral 官方模型卡說明 Devstral Small 2 為 24B 密集參數模型,脈絡長度 256K token,採 Apache-2.0 授權;模型卡明確定位為「軟體工程任務用的代理式 LLM」,擅長使用工具瀏覽程式庫、編輯多個檔案。

技術與取捨

Q4_K_M 為 4-bit 量化,相較官方 BF16/FP8 權重有精度損失,本站尚未實測差異;此量化檔案由社群(unsloth)轉檔,非原廠發布。此模型專注軟體工程/程式代理任務,並非設計為通用聊天助理。

來源

全部模型