Infer.store

MV-Adapter 多視角影像生成

MV-Adapter: Multi-view Consistent Image Generation Made Easy

MV-Adapter 是一款多功能的即插即用適配器，可將現有的預先訓練的文本到圖像 (T2I) 擴散模型轉變為多視圖生成器。不同於以往需要完整微調的繁複方法，MV-Adapter 透過更新較少參數，有效降低計算成本並避免過擬合。

它利用創新的雙重自我注意力層和平行注意力架構，高效建模 3D 幾何知識，並整合了條件編碼器以處理不同輸入，例如文字、圖片或幾何資訊。實驗結果顯示，MV-Adapter 在不同基礎 T2I 模型和控制條件下，都能生成高保真、多視角一致的影像，展現其適應性和多功能性，為多視角影像生成設定了新的品質標準。

---

RAG 向量中的文件分割策略

文件分割策略對於大型語言模型(LLM)的資訊檢索效能影響。現有資訊檢索基準測試通常以整篇文件的相關性評估效能，忽略了文件分割策略的重要性。RAG 文件分割(Text Chunking) 基於字元/詞(Token) 的分割、遞迴式分割、語義分割等，以找出最適合用於後續基於檢索增強生成（RAG）應用的最佳方法。

The BEST Way to Chunk Text for RAG

Chroma 研究技術報告

研究團隊提出了一套新的評估方法，以詞彙層級的相關性作為評估標準，並比較了幾種常見的分割策略，包含 RecursiveCharacterTextSplitter 以及團隊提出的兩種新方法：ClusterSemanticChunker 和 LLMSemanticChunker。實驗結果顯示，不同的分割策略對檢索準確率和效率有顯著影響，某些策略的召回率甚至提升了 9%。

---

PyTorch vs TensorFlow

比較兩個主流深度學習框架：TensorFlow 和 PyTorch

Pytorch Vs TensorFlow：AI、ML 和 DL 框架不僅僅是工具；它們是決定我們如何創建、實施和部署智能系統的基礎構建塊。這些框架配備了庫和預構建的功能，使開發人員能夠在不從頭開始的情況下制定複雜的人工智能算法。它們簡化了開發過程，確保了各個項目的一致性，並使人工智能功能能夠集成到不同的平台和應用程序中。

https://www.youtube.com/watch?v=CY3OZdHm-Kg

---

Flux Redux 統一風格 AI 角色教學

利用 Flux Redux 及其相關工具，製作一致風格AI角色同背景教學。重點是藉 Flux LoRa 訓練保持角色面部一致性。教學詳細講解如何使用 Redux Advanced Custom Nodes 控制圖像生成，透過調整 downsampling factor 控制風格變化，並利用 mask 參考圖像控制角色服裝及背景風格。最後，示範咗點樣將生成嘅圖像導入AI影片生成工具，製作動畫短片，實現角色風格一致但服裝同背景多樣化嘅效果。 整個過程強調簡潔易用，並提供實際案例同操作步驟。

Flux Redux Consistent Style Character And Background Easily In For AI Characters

---

A.I. 對未來世界的影響

Open AI 出現最大競爭對手 世界周報MIT採訪人工智慧中心主任 TVBS文茜的世界財經周報 20241208

---

Ollama 結構化輸出

Structured outputs · Ollama Blog

Ollama 現已支援結構化輸出，因此可以將模型輸出自定格式。 Ollama Python 和 JavaScript 程式庫已更新以支援結構化輸出。包括：從文件中解析數據；從圖像中提取數據；建構所有語言模型回應。

Unlocking the Power of Ollama’s Structured JSON Output

---

Switti 高速 text2img 模型

Scale-wise transformers 模型

Switti 基於 Transformer 架構，用於文本到圖像生成的 scale-wise 模型。性能上優於現有的 T2I AR 模型，並可與最先進的 T2I 擴散模型相媲美，同時速度提高了 7 倍。

在高分辨率尺度上禁用分類器自由引導可以進一步加速採樣，並改善細節生成。

---

Prefixing – 簡易提升 RAG 準確度

在向量數據庫應用中，「prefixes」指的是在文本塊輸入嵌入模型之前，在文本塊前插入一段描述其目的的文本。「prefixes」是一個簡單但有效的技術，可以顯著提高向量數據庫應用的準確性達 200%。

在 Olama 官方庫中的五個嵌入模型中，只有三個支持「prefixes」，Nomic、Snowflake Arctic 和 Mixed Bread 等。

儘管傳統的 LLM 可能更大，但它們不適合生成嵌入。嵌入模型專為生成嵌入而設計，它們的速度要快得多，並且可以產生更好的結果。Prefixing」嘅簡單技巧嵌入技巧。

Don’t Embed Wrong!

---

FLOAT – 最強 LipSync 工具

FLOAT 是個音訊驅動人像影片模型。模型提供能夠生成更自然、更具表現力的面部動畫，反映出說話者的情感狀態。

FLOAT

關鍵詞彙表

• 擴散模型 (Diffusion models): 一種生成模型，通過逐漸向數據添加噪聲，然後學習逆轉該過程來生成新數據。
• 流匹配 (Flow matching): 一種生成模型訓練技術，其目標是學習將簡單分佈轉換為目標數據分佈的變換。
• 運動潛在空間 (Motion latent space): 一個表示人像運動的低維空間，從輸入的人像圖像中學習得到。
• 音頻驅動說話人像生成 (Audio-driven talking portrait generation): 使用音頻信號作為輸入，生成與音頻同步的說話人像視頻的任務。
• 情感增強 (Emotion enhancement): 根據輸入的語音情感標籤，增強生成的人像動畫的情感表現力。
• 幀級 AdaLN (Frame-wise AdaLN): 一種自適應層歸一化技術，在每個時間步長根據條件信息調整特徵統計量，用於增強生成運動的多樣性。
• 函數評估次數 (NFEs): 評估生成模型所需的時間步長或迭代次數，用於衡量模型的效率。
• 3DMM 頭部姿態參數 (3DMM head pose parameters): 一種基於 3D Morphable Model 的人臉姿態表示，可以控制生成人像的頭部方向。

---

手把手教你如何部署大型語言模型

如何使用 vLLM 框架部署大型語言模型。教學包含使用 8B 同 70B 兩個版本作示範，並說明如何在 NVIDIA GPU 上安裝 VLLM，以及如何處理記憶體限制。

台大資訊 深度學習之應用 | ADL TA Recitation: LLM Deployment 手把手教你如何部署大型語言模型

---