Grok-1 是一個參數量達到 3140 億的 AI 大語言模型,其規模超越了 OpenAI GPT-3.5 的 1750 億參數,是目前世界上最大的開源 LLM 大語言模型。馬斯克通過其旗下的 AI 公司 xAI 開發了這一模型
(英)GitHub – xai-org/grok-1: Grok open release
Grok open release. Contribute to xai-org/grok-1 development by creating an account on GitHub.
馬斯克旗下的 AI 創企 xAI 在2023 年11月推出了第一代大語言模型 Grok,其中 Grok-0 是最初的版本,擁有 330 億參數。隨後,經過數次改進,推出了Grok-1。這一過程中,xAI 採用了 Mixture-of-Experts(MOE)技術,並對模型進行了持續的優化和增強。
開源時間方面,馬斯克在 2024 年 3 月 17 日正式宣佈開源 Grok-1