Granite 4.0 H Small(GGUF Q4_K_M,官方量化)
候選情境測試尚未完成- 量化
- GGUF Q4_K_M (官方資料 · 原始連結 · Apache-2.0 · 取得於 2026-10-07)
- 最少記憶體
- 32 GB (估算 · 原始連結 · Apache-2.0 · 取得於 2026-10-07 · 假設:以官方 GGUF 權重檔 19.48 GB + 2 GB(執行環境與約 8K 上下文)估算,並假設 macOS 約 70% 統一記憶體可給 GPU 使用;更長上下文需要更多記憶體。)
為什麼列入
原廠發布 Granite 4.0 H Small 的 GGUF 量化檔;列為本機對話候選,本站尚未實測表現。
技術與取捨
此量化版本相對全精度權重可能損失品質;本站尚未實測差異。