Qwen3-4B-Instruct-2507(GGUF Q4_K_M)
候選情境測試尚未完成- 量化
- GGUF Q4_K_M (估算 · 原始連結 · Apache-2.0 · 取得於 2026-09-30 · 假設:社群轉檔(unsloth),非原廠發布;檔案大小取自該轉檔頁。)
- 最少記憶體
- 8 GB (估算 · 原始連結 · Apache-2.0 · 取得於 2026-09-30 · 假設:以權重檔 2.50 GB + 2 GB(執行環境與約 8K 上下文)估算,並假設 macOS 預設約 70% 統一記憶體可給 GPU 使用;更長上下文需要更多記憶體。)
為什麼列入
原廠模型卡說明本模型共 40 億參數(不含嵌入層 36 億),原生支援 262,144 token 脈絡長度,採 Apache-2.0 授權;定位為一般用途指令模型,卡片列出「指令遵循、邏輯推理、文字理解、數學、科學、程式與工具使用」等多項能力,程式能力只是其中一項,未特別定位為程式/代理專用模型。
技術與取捨
Q4_K_M 屬於 4-bit 量化,相較官方 BF16 權重會有精度損失,本站尚未實測差異;此量化檔案由社群(unsloth)轉檔,非原廠發布。