突破傳統以單詞為單位的 LLM，LCM(Large Concept Model) 直接處理句子級別的語義表示，即「概念」。研究人員利用 SONAR 嵌入空間，訓練 LCM 進行句子預測，並探索了多種模型架構和訓練方法，最終在 1.6B 和 7B 參數規模的模型上取得了優異的多語言零樣本泛化能力，尤其在摘要和摘要擴展任務上表現突出。 該研究成果及程式碼皆已公開釋出。
Jepa (Joint Embedding Predictive Architecture) 是一種在嵌入空間中預測下一個觀察表示的方法，V-JEPA (Video-JEPA) 是 Jepa 的一種伸延，加入影像作為一種自我監督的方式來學習影片的表示。
Experts are STUNNED! Meta's NEW LLM Architecture is a GAME-CHANGER!
實戰：
Experimenting With LCM Models (Meta's Alternative To LLM Models)
