標記為的 LLM Q2_Kⓘ, Q4_K_Mⓘ, Q5_0ⓘ， Q8_0ⓘ 等具有不同的“量化”程度。
量化是指能夠在有限資源的平台上運行模型的技術。這是一個活躍的研究領域。了解更多有關量化的資訊 ↗
選擇「最佳」量化等級通常需要在檔案大小、品質和效能之間進行各種權衡。較高的量化「位數」（4 位或更多）通常可以保留更多的質量，而較低的級別會進一步壓縮模型，這可能會導致質量的顯著損失。選擇與您的硬體功能相符並滿足任務效能需求的量化等級。如果您不確定要選擇哪個選項，請考慮嘗試幾個不同的選項並進行自己的評估。
