短片闡述 DeepSeek R1 模型的訓練過程，核心是基於人類回饋的強化學習。首先，短片解釋如何利用人類偏好訓練獎勵模型 (reward model)：收集人類對不同模型輸出的評分，透過例如 Softmax 函數和梯階降法，調整獎勵模型，使其給予人類偏好的輸出更高分數。短片亦說明如何使用近端策略最佳化 (PPO) 演算法，結合獎勵模型和價值模型 (value model) 來微調語言模型 (policy network)：根據獎勵模型給出的獎勵，以及評價模型預測的獎勵與預期差異 (advantage)，調整策略網絡，使其更傾向產生高獎勵的輸出。最後，短片特別介紹 DeepSeek R1 使用的群體相對策略最佳化 (group relative policy optimization)，這是一種改良的 PPO 方法，將獎勵與群體內其他輸出的平均獎勵相比，鼓勵產生優於平均水準的輸出，解決了傳統獎勵模型可能出現的「獎勵作弊」問題。
DreamCatalyst 是一個新穎的三維編輯架構，它改進了現有基於分數蒸餾採樣(SDS) 的方法，解決了訓練時間長和結果品質低的問題。DreamCatalyst 的關鍵在於將 SDS 視為三維編輯的擴散逆向過程，而不像現有方法那樣單純地蒸餾分數函數，使得更好地與擴散模型的採樣動態相協調。結果，DreamCatalyst 大幅縮短了訓練時間，並提升編輯品質，在速度和品質上都超越現有最先進的神經輻射場(NeRF) 和三維高斯散點(3DGS) 編輯方法，展現其快速且高品質的三維編輯能力。
DiffuEraser 是個基於穩定擴散模型的開源影片修復模型。利用先驗資訊作為初始化，減少雜訊和幻覺，並藉由擴展時間以及利用影片擴散模型的時間平滑特性，提升長序列推論中的時間一致性。 DiffuEraser 透過結合鄰近影格資訊修復遮罩區域，展現比現有技術更佳的內容完整性和時間一致性，即使在處理複雜場景和長影片時也能產生細節豐富、結構完整且時間一致的結果，且無需文字提示。 其核心在於提升影片修復的生成能力與時間一致性。
open-deep-research 是個開源的深度研究工具，模仿 OpenAI 的 Deep Research 實驗，但使用 Firecrawl 擷取和搜尋網頁資料，並結合推理模型，而非微調 o3 模型。 專案以Next.js建構，具有多種功能，包含即時資料饋送、結構化資料擷取、先進路由、支援多種大型語言模型（LLM）如 OpenAI、Anthropic 和 Cohere），當然亦 Support 免費的 Ollama 以及資料持久化機制。 提供本地部署和執行說明。 整體而言，它展示了一個強大的、可擴展的深度研究工具，並強調其開源和易於使用的特性。
這篇論文介紹了 DeepSeek 團隊開發的兩個大型語言模型：DeepSeek-R1-Zero 和 DeepSeek-R1，它們的核心目標是提升 LLM 的推理能力。DeepSeek-R1-Zero 利用大規模強化學習 (RL) 從頭訓練，展現出令人驚豔的推理能力，儘管存在可讀性和語言混雜等問題。DeepSeek-R1 則在 DeepSeek-R1-Zero的基礎上，加入多階段訓練和冷啟動數據，進一步提升效能，其推理能力已能與 OpenAI 的 o1-1217 模型相媲美。論文也展示了將DeepSeek-R1 的推理能力蒸餾到較小模型的成果，並公開釋出多個不同規模的模型，供研究社群使用。 論文詳細闡述了訓練方法、評估結果以及一些失敗的嘗試，為LLM推理能力的提升提供了寶貴的經驗和見解。
總結模型能力對比
DeepSeek-R1 在函數調用、多回合任務、複雜角色扮演以及 JSON 輸出等方面的能力優於 DeepSeek-V3。
未來研究方向
解決語言混合問題，目標是在未來解決這一限制。
提升提示工程的穩健性，建議用戶直接描述問題並使用零樣本設置指定輸出格式以獲得最佳效果。
探索利用 CoT（Chain-of-Thought）來增強這些領域的任務能力。
推理過程的挑戰
儘管 MCTS 與預訓練價值模型結合使用可以提高推理效率，但通過自我搜索迭代提升模型效能仍然是重大挑戰。
冷啓動強化學習
在冷啓動階段，利用檢查點收集數據並結合監督微調（SFT）來自其他領域的數據，增強模型在寫作、角色扮演和其他通用任務中的能力。
針對 CoT 在語言混合方面的問題，引入了語言一致性獎勵，以提高模型的性能。
涵蓋 DeepSeek-R1及其衍生模型（例如R10、R1Z）的全面介紹，包含安裝設定、效能基準測試（與OpenAI模型相比），以及各種硬體環境下的除錯和最佳化方法。課程重點在於如何有效利用 DeepSeek-R1 進行文本生成和圖像處理等 AI 任務，並強調模型優化和降低運算成本的重要性，同時展望了AI模型未來的發展趨勢。
Cherry Studio 是一款支持多個大語言模型（LLM）服務商的桌面客戶端，兼容 Windows、Mac 和 Linux 系統。支持主流 LLM 云服务：OpenAI、Gemini、Anthropic、硅基流动等。支持 Ollama 本地模型部署。内置 300+ 预配置 AI 助手。
Janus 系列多模態理解和生成模型。核心是三個模型：Janus、Janus-Pro 和 JanusFlow，它們都基於單一 Transformer 架構，實現了統一的多模態理解和生成。Janus-Pro 是 Janus 的進階版，透過優化訓練策略、擴展數據和提升模型規模，顯著提升了性能。JanusFlow 則結合了自迴歸語言模型和修正流模型，在效能和多功能性上取得平衡。該資源提供了模型下載、快速入門指南，以及使用 Python 進行多模態理解和圖像生成的程式碼範例，並提供了 Hugging Face 線上演示和本地 Gradio/FastAPI 演示的說明。 最後，還列出了相關論文的引用資訊。
Aider 是一款命令列程式，能讓使用者透過大型語言模型 (LLM) 於終端進行程式碼配對編程。它直接在你的本地 Git 儲存庫中編輯程式碼，支援多種 LLM，例如 Claude 3.5 Sonnet、DeepSeek V3 和 GPT-4o 等，並能處理多種程式語言。 使用者可以提出新增功能、除錯、重構程式碼等需求，Aider 會自動編輯檔案並提交 Git 程式碼變更，大幅提升開發效率。此外，Aider 也提供圖像、網址輸入及語音輸入等功能，並在 SWE Bench 基準測試中獲得優異成績。 整體而言，Aider 旨在簡化程式碼開發流程，並提供一個直觀且高效的 AI 程式碼輔助工具。
作者進行五個關於 DeepSeek R1 以及其他模型(Claude 3.5、OpenAI)的實驗。
實驗一測試模型生成 3D 瀏覽器模擬程式碼的能力，結果 DeepSeek R1 成功完成；
實驗二結合 Claude 的功能與 DeepSeek R1 的推理機制，實現更複雜的資訊處理；
實驗三探討模型在一個數值猜測遊戲中的推理過程，展現了模型的思考步驟；
實驗四修改經典的河渡問題，測試模型是否能跳脫既有訓練資料的限制，DeepSeek R1和Claude成功解決，OpenAI則失敗；
實驗五則以情境題測試模型的連續推理能力，多個模型皆能得出正確結論。
整體而言，影片旨在展示大型語言模型的程式碼生成、工具使用、推理能力以及突破訓練資料限制的潛力，並分享作者對模型能力的觀察與思考。
