進楷優化
更快、更小的 Whisper:深入研究量化和 Torch 編譯
本文透過批次加速,增強基於 PyTorch 的 Whisper 模型性能。透過利用透過轉換器、實現靜態快取以及利用torch.compile,顯著加快模型的推理速度。此外,使用HQQ將 Whisper 模型量化為 4 位,以最小的降級保持轉錄質量,正如字錯誤率 (WER) 基準評估的那樣。

微調前後
Golden RAGtriever 是一款開源應用程序,旨在為開箱即用的檢索增強生成 (RAG) 提供端到端、簡化且用戶友好的介面。只需幾個簡單的步驟,即可在本地透過 HuggingFace 和 Ollama 或透過 OpenAI、Cohere 和 Google 等 LLM 供應商探索您的資料集並輕鬆提取見解。