Unsloth

工具简介

Unsloth 是一个专注于 LLM 微调效率优化的开源工具库，由 Daniel 和 Michael Han 兄弟开发。它通过手写 CUDA 内核、智能梯度检查点等底层优化，将 LoRA/QLoRA 微调速度提升 2-5 倍，同时将显存占用降低 50-80%。最惊人的是，在单张 RTX 4090（24GB 显存）上就能对 Llama 3.1 70B 等超大模型进行 QLoRA 微调，这在以前需要 A100 80GB 才能完成。

Unsloth 在 GitHub 上获得了超过 50,000 颗星标，是当前最受欢迎的 LLM 微调工具之一。它与 Hugging Face 生态完全兼容，训练出的模型可直接导出为 GGUF、vLLM 等格式。

核心功能

• 极致微调加速：手写 Triton/CUDA 内核替代 PyTorch 自动求导，训练速度提升 2-5 倍。支持 LoRA（低秩适配）、QLoRA（量化低秩适配）、全参数微调等多种模式。
• 超低显存微调：通过智能梯度检查点和 4-bit 量化，相比传统 Hugging Face + FA2 方案显存降低 80%。RTX 4090（24GB）可微调 Llama-3.1 70B、Mistral Large 等大模型。
• 广泛模型支持：覆盖 Llama 3、Mistral、Qwen 2.5、DeepSeek、Gemma、Phi-4、Command R、Yi、InternLM 等主流开源模型。持续跟进最新模型发布。
• 一键 Colab 微调：提供免费的 Google Colab 笔记本，无需 GPU 硬件，浏览器中即可开始微调。内置多个数据集模板，新手 10 分钟上手。
• 多格式导出：训练完成后可导出为 GGUF（llama.cpp）、vLLM、Ollama、Hugging Face 等格式，直接用于推理部署。

访问说明

通过 pip install unsloth 安装（需要 Linux + NVIDIA GPU）。推荐使用官方 Docker 镜像或 Google Colab 免费实例。GitHub 仓库：github.com/unslothai/unsloth。文档详尽，社区 Discord 活跃。

适合人群

• AI 工程师和研究者：需要快速对开源 LLM 进行领域微调
• 硬件受限的开发者：想在消费级 GPU 上微调大模型
• 创业者和小团队：快速构建垂直领域 AI 应用原型
• 学生和 AI 学习者：通过 Colab 低成本学习 LLM 微调技术