本片中展示 AI Studio 上 Gemini 2.0 中的入門應用程式之一 「視訊分析器」,並詳細介紹如何使用 Python 程式碼和新的統一 SDK 從多角度分析影片內容。
本片中展示 AI Studio 上 Gemini 2.0 中的入門應用程式之一 「視訊分析器」,並詳細介紹如何使用 Python 程式碼和新的統一 SDK 從多角度分析影片內容。
Google Labs 宣佈了幾個重要更新。除影片生成外,Whisk 最受矚目!
Google 推出了Veo 2 和 Imagen 3 的改良版本,分別在影片和圖片生成方面達到業界頂尖水準,並整合到 VideoFX 和 ImageFX 工具中。 此外,一個名為 Whisk 的新工具也正式亮相,它允許使用者以圖片作為提示,結合 Imagen 3 和 Gemini 的技術,創造出獨特的影像。 文章最後還介紹了這些工具的應用範圍以及未來發展計畫,例如在 YouTube Shorts 和 Vertex AI 上的整合。 整體而言,文章旨在展示Google在AI影像與影片生成技術上的最新進展,以及其對提升使用者創造力和拓展應用場景的努力。
Veo 2 是一款最先進的影片生成模型
Google DeepMind 的 Veo 2 能生成高品質、逼真的影片,解析度最高可達 4K,並具有精細的攝影機控制選項,能準確地模擬真實世界的物理現象和多種視覺風格。
大幅提升大型語言模型 (LLM) 的推理速度
Cerebras 和 Groq 等公司利用此技術,在 Llama 模型上取得遠超傳統 GPU 的效能表現,速度提升達數倍。文章詳細解釋了如何取巧進行推理解碼的原理:使用較小的模型快速生成初步答案,再由較大的模型校驗其準確性,類似「助理先打草稿,老闆再審核」的流程。文章後半部提供了使用 Llama.cpp 實作推測解碼的步驟,並說明了其各個參數的意義,以及在實際應用中可能遇到的挑戰,例如偶爾出現的延遲問題,但整體而言,推測解碼能有效提升 LLM 的效能,尤其適用於需要大量運算的應用情境,例如結合思考鏈 (CoT) 的複雜任務。
影片示範使用 OLAMA 平台,離線運行 Llama 3.2 vision 模型。重點在於說明如何使用終端機或 Open Web UI 與圖片互動,以及運用 Python 和 JavaScript SDK 建立應用程式。影片涵蓋基本設定到進階應用程式開發,並提供詳細程式碼範例,協助 Llama 3.2 vision 模型進行圖像識別和描述等任務,展現消費級硬體上的強大能力。
一場關於建構 AI 研究代理程式的研討會。主要目的在於介紹 AI 代理程式的基本概念,並讓參與者獲得端到端構建代理程式的實務經驗。講者首先解釋何謂 AI 代理程式,並將其與大型語言模型 (LLM) 互動的方法,例如簡單提示和檢索增強生成 (RAG),進行比較,強調 AI 代理程式在處理複雜任務和個性化回應方面的優勢。接著,講者深入探討了 AI 代理程式的幾個關鍵組成部分:規劃與推理 (包含 Chain of Thought 和 React 等設計模式)、記憶體 (短期和長期記憶體) 和工具。最後,研討會的實作部分引導參與者利用 Langchain 框架,結合 Fireworks 模型和 MongoDB,一步步建構一個可以提供研究協助的 AI 代理程式,其中涵蓋了工具的建立、代理程式的設計,以及記憶體的添加。
高效能語言模型推論引擎
它以 Rust 編寫,支援多種模型、量化方法 (GGML, GPTQ, HQQ 等) 和加速器 (CUDA, Metal, CPU),並提供 便捷的 Python API 和 OpenAI 相容的 HTTP 伺服器。 核心功能包括 快速推論、多種量化技術 以提升效能,以及對 LoRA、X-LoRA 等模型調整技術的支援。 附詳細說明安裝、建置、模型取得和使用方法,並提供豐富的範例程式碼與效能基准測試結果。(支援 Mac M 系列)