CAG (Cache-Augmented Generation ) 挑戰了目前廣泛使用的 Retrieval-Augmented Generation (RAG) 方法。RAG 方法透過即時搜尋外部知識庫來增強大型語言模型 (LLM) 的能力，但存在延遲、搜尋錯誤以及系統複雜度高等缺點。CAG 則利用具有長上下文窗口的 LLM，預先將所有相關資源載入模型的上下文並預計算關鍵值快取 (KV cache)，從而在推理過程中無需即時搜尋即可直接回答問題。透過實驗比較 CAG 和 RAG 在 SQuAD 和 HotPotQA 兩個問答數據集上的效能，結果顯示在知識庫規模有限的情況下，CAG 在效率和準確性上均優於 RAG，尤其在處理長篇文本時，CAG 的速度大幅提升。在特定應用場景下，特別是知識庫大小可控的情況下，CAG 提供了一個更簡潔、高效且準確的替代方案。