Infer.store

AI Won’t Be AGI, Until It Can At Least Do This

AI Won't Be AGI, Until It Can At Least Do This (plus 6 key ways LLMs are being upgraded)

---

StableSwarmUI 支援 Stable Diffusion 3

(英)StableSwarmUI，模組化 Web 介面, 重點在於易於存取、高效能和可擴展性

您可以在 Google Colab 或 Runpod 上運行 StableSwarmUI。或者，您可以按照文中说明在 Windows、Linux 或 Mac 上安裝它。

Install Stable Diffusion 3 Locally: Step-by-Step with StableSwarmUI & ComfyUI

---

LLM Analytics 可視化用量監察工具

GitHub – labmlai/inspectus: LLM Analytics

法學碩士分析。透過在 GitHub 上建立帳戶來為 labmlai/inspectus 開發做出貢獻。

Inspectus 是一款適用於大型語言模型的多功能視覺化工具。它透過易於使用的 Python API 在 Jupyter 中流暢運行。 Inspectus 提供多種視圖，提供語言模型行為的不同見解。

---

Luma Dream Machine 高品質、逼真的視頻

免費計劃 – 每月 30 調短片

Dream Machine 可根據 Luma AI 的文字和圖像快速製作高品質、逼真的視頻

---

MimicBrush 圖像編輯

MimicBrush 的一種創新的圖像編輯方法，通過提供參考圖像來編輯圖片，而無需明確指定編輯的細節。MimicBrush 的核心思想是「模仿編輯」，只需在原始圖像中用 Brush 標記要編輯的區域，並提供一張參考圖片，模型就會自動理解參考圖像中與目標區域相關的語義，並將其應用於編輯。這種方法使用基於擴散模型的生成框架，通過從影片中隨機選取幀並遮罩部分區域來進行自行監督學習，使模型能夠捕捉不同圖像之間的語義關係，實現零樣本的圖像編輯。研究還提供了一個基準測試，旨在促進未來對此領域的研究。

---

Multimodal RAG 多模態向量資料庫 ChromaDB

Multimodal RAG!? - Pushing the Boundaries of AI

---

建構一個能夠傾聽和觀察世界的人工智慧助手（逐步教學）(英)

Building an AI assistant that listens and sees the world (Step by step tutorial)

---

whisper.cpp v.1.6.2 源碼: Speech To Text 輕量級模型

輕量級的模型實現可以輕鬆地將其整合到不同的平台和應用程式中

可以在非常短時間內將音訊轉錄為文字…

如何在 Mac 上安裝 Whisper，一款令人驚嘆的 OpenAI 語音轉文字辨識系統

---

進楷優化

更快、更小的 Whisper：深入研究量化和 Torch 編譯

本文透過批次加速，增強基於 PyTorch 的 Whisper 模型性能。透過利用透過轉換器、實現靜態快取以及利用torch.compile，顯著加快模型的推理速度。此外，使用HQQ將 Whisper 模型量化為 4 位，以最小的降級保持轉錄質量，正如字錯誤率 (WER) 基準評估的那樣。

---

微調前後

---

RAGMeUp 資料集上進行 RAG

(英)在任何資料集上應用 LLM 功能的通用rag框架

可以在 CPU 上運行，但在使用預設指令模型時最好在任何具有至少 16GB vRAM 的 GPU 上運行

---

Hugging Face Spaces 平臺被駭

Hugging Face Spaces平臺被駭，緊急呼籲用戶重設憑證

Hugging Face於5月31日發布資安公告，他們偵測到ML應用代管平臺Spaces有未經授權的存取活動，緊急註銷多筆包含其中的HF令牌，並以電子郵件通知受影響用戶

---