mistral.rs 高速推理引擎

高效能語言模型推論引擎

它以 Rust 編寫，支援多種模型、量化方法 (GGML, GPTQ, HQQ 等) 和加速器 (CUDA, Metal, CPU)，並提供 便捷的 Python API 和 OpenAI 相容的 HTTP 伺服器。 核心功能包括 快速推論、多種量化技術 以提升效能，以及對 LoRA、X-LoRA 等模型調整技術的支援。 附詳細說明安裝、建置、模型取得和使用方法，並提供豐富的範例程式碼與效能基准測試結果。(支援 Mac M 系列)