【LLaMA-Factory】開源語言模型微調專案

方便微調各種大型語言模型｜內建WebUI　方便使用｜內建多種訓練方式讓使用者選擇

最近在GitHub上看到了一個專案，可以方便的微調LLM，正好最近要做的東西會需要用到，所以就研究了一下，今天拿出來跟大家介紹。

---

LM Studio 0.3.13

👾 LM Studio – Discover and run local LLMs

Find, download, and experiment with local LLMs

使用本地 LLM(Large Language Model) 的主要原因之一是隱私，LM Studio 就是為此而設計的。 LM Studio 不會收集數據，也不監視您的行為。

---

Apple 開放 MLX 機器學習 API

GitHub – ml-explore/mlx: MLX: An array framework for Apple silicon

MLX: An array framework for Apple silicon. Contribute to ml-explore/mlx development by creating an account on GitHub.

Awni Hannun 宣怖 Apple 正式開放 ML Framework 並於 GitHub 設立模型庫及應用介面範例。各種使用MLX 框架的獨立範例。

MNIST範例是學習如何使用 MLX 的良好起點。

一些更有用的例子包括：

• Transformer 語言模型訓練。
• 使用LLaMA或Mistral產生大規模文字。
• 使用Mixtral 8x7B 的專家混合 (MoE) 語言模型
• 使用LoRA進行參數高效率微調。
• 使用穩定擴散產生影像。
• 使用OpenAI 的 Whisper進行語音辨識。
• 使用BERT進行雙向語言理解
• 使用GCN對圖結構資料進行半監督學習。

---