Ollama3.2-vision 本地部處教學

影片示範使用 OLAMA 平台,離線運行 Llama 3.2 vision 模型。重點在於說明如何使用終端機或 Open Web UI 與圖片互動,以及運用 Python 和 JavaScript SDK 建立應用程式。影片涵蓋基本設定到進階應用程式開發,並提供詳細程式碼範例,協助 Llama 3.2 vision 模型進行圖像識別和描述等任務,展現消費級硬體上的強大能力。

Llama 3.2 Vision + Ollama: Chat with Images LOCALLY

MAC ImageWIN Image


Open-LLM-VTuber



LM Studio 0.3.13

使用本地 LLM(Large Language Model) 的主要原因之一是隱私,LM Studio 就是為此而設計的。 LM Studio 不會收集數據,也不監視您的行為。


Apple 開放 MLX 機器學習 API

Awni Hannun 宣怖 Apple 正式開放 ML Framework 並於 GitHub 設立模型庫及應用介面範例。各種使用MLX 框架的獨立範例。

MNIST範例是學習如何使用 MLX 的良好起點。

一些更有用的例子包括:


Draw Things: 為 iPhone 及 Mac M1 進行優化的 Stable Diffusion XL

雖然 AppStore 上已有多個 Apps 以 Stable Diffusion 作為基楚應用,例如 Diffusion Bee, 但新版 Draw Things 可算是目前最齊功能、最接近 GitHub 上的 Automatic 1111 的 GUI 版,它甚至內建 ControlNet, 直接執行 SD 1.4, 1.5 及 XL Checkpoint 及 Lora 模型。

你亦可於 App 內直接下載上千個模型並自動轉換成支援 Apple 的 Core ML 引擎,優化執行 Transformer 架構模型。出圖速度比直接執行 Stable Diffusion WebUI 版更快。

#蘋果神經引擎

第一代 Apple 神經引擎 (ANE – Apple Neural Engine) 作為我們 2017 年旗艦機型 iPhone X 中 A11 晶片的一部分發布。它在半精度浮點數資料格式下的峰值吞吐量為 0.6 兆次浮點運算 (TFlops) ( float16 或FP16),並且它有效地支援了設備上的ML 功能,例如Face ID 和Memoji。

到 2021 年,第五代 16 核 ANE 的處理能力是原來的 26 倍,即 15.8 TFlops。神經引擎的可用性也從 2017 年的 iPhone 擴展到從 A12 晶片開始的 iPad,從 M1 晶片開始擴展到 Mac。Apple 神經引擎的演變。iPhone 13 Pro 上的 A15 Bionic 晶片上的 16 核神經引擎的峰值吞吐量為 15.8 teraflops,比 iPhone X 提升了 26 倍。


Popular Tags