最近 AnythingLLM Desktop 中容許我哋合併 AI Agents。這部影片是了解 Anything LLM 以及如何使用 Olama 在您的設備上本地運行 AI 代理的絕佳介紹。

當 Anything LLM 用於代理，可以指示它去執行抓取網站或概括文檔。影片展示瞭如何使用 Anything LLM 與代理一起抓取網站和概括文檔。

此影片介紹了 Google I/O 上公布的最新人工智能 (AI) 進展以及 OpenAI 的驚喜更新。

• OpenAI 發布了他們的新旗艦模型 GPT-40，它速度更快、更便宜，並將文字、視覺和音頻組合成一個模型。它還可以以多種語氣進行對話，從戲劇性到冷靜。
• Google 宣布了 Gemini 1.5 Pro，它現在可以處理 200 萬個令牌上下文窗口。為了解決令牌的成本問題，他們發布了一項名為上下文緩存的新功能，並舉辦了一項開發人員比賽，以構建最好的 Gemini 支持的應用程序。
• Google 的另一個有趣公告是 Firebase data connect，它正式將 Postgress 引入 Firebase。
• Google 還宣布了新硬件，例如 Trillium tpus 和 Axion 其新的面向數據中心的 ARM 基 CPU，以及 vo，一個生成視頻模型以與 OpenAI Sora 競爭。
• 視頻以作者對奇點進度的失望結束，因為即使這些模型變得越來越快、越來越便宜，它們也並沒有變得更加智能。

GPT-40 將提供免費層，更高層將提供更高的使用限制。GPT-40 是 AI 技術的重大飛躍，能夠通過音頻、視覺和文字與世界互動。

GPT-40 的一些主要功能包括：

• 實時響應：GPT-40 可以實時響應您的問題和請求，使其成為對話和協助的強大工具。
• 通過語音助手訪問：您可以通過語音助手與 GPT-40 互動，類似於您與 Siri 或 Alexa 互動的方式。這使其非常易於使用。
• 多模態學習：GPT-40 可以通過文字、音頻和視頻等不同媒介學習和理解信息。這使其對世界的理解比以前的模型更加豐富。
• 執行多種任務：GPT-40 可用於多種任務，包括翻譯、實時字幕、代碼生成和以信息豐富的方式回答您的問題。

這部影片是 Google I/O ’24 的主題演講，涵蓋了各種與 Google AI 工具相關的主題以及開發人員如何使用它們。

• 介紹 Gemini 1.5 Flash：Gemini AI 模型的新版本，旨在高效且低延遲。它非常適合需要快速響應時間的任務。
• Project Starfire：一個新工具，允許開發人員使用具有 200 萬個令牌上下文窗口的大型語言模型 (LLM)。這允許開發人員輸入更多信息並獲得更全面的結果。
• Project Astra：一個雄心勃勃的項目，旨在創建一個通用 AI 助手。該助手將能夠幫助用戶完成各種日常任務，例如安排約會、查找信息和控制智能家居設備。
• Google 如何使用 AI 改進 Web 開發：Google 正在開發多項新功能，這些功能將使開發人員更容易創建快速、無縫和用戶友好的 Web 應用程序。
• Google 如何使 AI 開發更易於訪問：Google 致力於使 AI 開發工具更易於所有開發人員使用。他們通過提供各種易於使用的工具和資源來做到這一點。

相比ChatGLM，LLaMA Factory 的 LoRA 微調提供了 3.7 倍的加速

支持多種模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi

你可選用本地部處或使用 Colab Notbook

項目特色

• 多種模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
• 集成方法：（增量）預訓練、（多模態）指令監督微調、獎勵模型訓練、PPO 訓練、DPO 訓練、KTO 訓練和 ORPO 訓練。
• 多種精度：32 比特全參數微調、16 比特凍結微調、16 比特 LoRA 微調和基於 AQLM/AWQ/GPTQ/LLM.int8 的 2/4/8 比特 QLoRA 微調。
• 先進算法：GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 Agent 微調。
• 實用技巧：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。
• 實驗監控：LlamaBoard、TensorBoard、Wandb、MLflow 等等。
• 極速推理：基於 vLLM 的 OpenAI 風格 API、瀏覽器界面和命令行接口。

標記為的 LLM Q2_Kⓘ, Q4_K_Mⓘ, Q5_0ⓘ， Q8_0ⓘ 等具有不同的“量化”程度。

量化是指能夠在有限資源的平台上運行模型的技術。這是一個活躍的研究領域。了解更多有關量化的資訊 ↗
選擇「最佳」量化等級通常需要在檔案大小、品質和效能之間進行各種權衡。較高的量化「位數」（4 位或更多）通常可以保留更多的質量，而較低的級別會進一步壓縮模型，這可能會導致質量的顯著損失。選擇與您的硬體功能相符並滿足任務效能需求的量化等級。如果您不確定要選擇哪個選項，請考慮嘗試幾個不同的選項並進行自己的評估。

Introduction to Weight Quantization

Reducing the size of Large Language Models with 8-bit quantization