大幅提升大型語言模型 (LLM) 的推理速度
Cerebras 和 Groq 等公司利用此技術，在 Llama 模型上取得遠超傳統 GPU 的效能表現，速度提升達數倍。文章詳細解釋了如何取巧進行推理解碼的原理：使用較小的模型快速生成初步答案，再由較大的模型校驗其準確性，類似「助理先打草稿，老闆再審核」的流程。文章後半部提供了使用 Llama.cpp 實作推測解碼的步驟，並說明了其各個參數的意義，以及在實際應用中可能遇到的挑戰，例如偶爾出現的延遲問題，但整體而言，推測解碼能有效提升 LLM 的效能，尤其適用於需要大量運算的應用情境，例如結合思考鏈 (CoT) 的複雜任務。
