Qwen3-4B-Instruct-2507(GGUF Q4_K_M)

候選情境測試尚未完成
量化
GGUF Q4_K_M (估算 · 原始連結 · Apache-2.0 · 取得於 2026-09-30 · 假設:社群轉檔(unsloth),非原廠發布;檔案大小取自該轉檔頁。)
最少記憶體
8 GB (估算 · 原始連結 · Apache-2.0 · 取得於 2026-09-30 · 假設:以權重檔 2.50 GB + 2 GB(執行環境與約 8K 上下文)估算,並假設 macOS 預設約 70% 統一記憶體可給 GPU 使用;更長上下文需要更多記憶體。)

為什麼列入

原廠模型卡說明本模型共 40 億參數(不含嵌入層 36 億),原生支援 262,144 token 脈絡長度,採 Apache-2.0 授權;定位為一般用途指令模型,卡片列出「指令遵循、邏輯推理、文字理解、數學、科學、程式與工具使用」等多項能力,程式能力只是其中一項,未特別定位為程式/代理專用模型。

技術與取捨

Q4_K_M 屬於 4-bit 量化,相較官方 BF16 權重會有精度損失,本站尚未實測差異;此量化檔案由社群(unsloth)轉檔,非原廠發布。

來源

全部模型