手把手教你如何部署大型語言模型

如何使用 vLLM 框架部署大型語言模型。教學包含使用 8B 同 70B 兩個版本作示範，並說明如何在 NVIDIA GPU 上安裝 VLLM，以及如何處理記憶體限制。

台大資訊 深度學習之應用 | ADL TA Recitation: LLM Deployment 手把手教你如何部署大型語言模型

---