Tag
本地部署 相关的 AI 工具
站内和「本地部署」有关的 4 款工具、5 篇文章 ;其中 3 款有免费额度 ,3 款国内可直接打开。
相关工具
全部工具 →相关文章
全部文章 →
Featured
llama.cpp 与 ggml 一起发布 1.0:真正的变化不是功能,是「以后不许随便破坏 API」
11 月 13 日 llama.cpp 和 ggml 同日发布 v1.0.0。3.5 年、13.5 万 stars 之后,1.0 的核心是一套语义化版本规则:MAJOR 只在公开 C API 破坏时跳。同一版里删掉 35 个废弃函数、上 FP8 KV cache 与 MoE 的 CPU 缓存份额,并修了 llama-server 的 SSRF、CORS、DNS rebinding——如果你把 llama-server 暴露在局域网,这一版该升。
Featured
145B 端侧模型的发布文,和它自己的仓库文档对不上:Mac 跑不了、内存口径也不一致
11 月 12 日 Edge0 开源 Edge0-145B/120B,宣称 29GB 峰值内存、80+ tok/s 能在笔记本跑 145B 模型。核对仓库后:Q3_K 下载 105.4GB,40GB 专家库在内存、51.2GB 词表在 SSD,官方文档要求 Linux/Windows + NVIDIA GPU + CUDA 13,macOS 尚未发布,许可也不是 OSI 开源。附它赢在哪两项基准、输在哪三项。
Meta Muse Spark Open 发布:816B 开源权重模型,42B 激活参数,两块 Mac Studio 就能跑
10 月 15 日 Meta Superintelligence Labs 发布 Muse Spark Open——816B 总参数的稀疏 MoE 模型(256 专家 top-8 路由,每 token 仅激活 42B),1M 上下文、原生多模态。MLX 支持 NVFP4 量化,两块 M5 Ultra Mac Studio 经 Thunderbolt 5 直连即可本地推理,Meta 称其「迄今最强的美国开源权重模型」。但采用 Muse Model License——是开源权重,不是开源软件。
Meta 携 Muse Glimmer 30B 回归开源:首次纯 Apache 2.0,单卡就能跑的 Agentic 模型
在 Llama 4 翻车、转向闭源 Muse Spark 之后,Meta 于 8 月 10 日悄然开源 Muse Glimmer 30B——Apache 2.0 授权、从旗舰蒸馏而来、24GB 显存即可本地运行,SWE-Bench Verified 76 分反超 Qwen 3.6-27B。这不是逆转,而是精心设计的一步「对冲棋」。
单机跑起 Kimi K3(2.8T 参数):Deltafin 本地部署完全指南
Deltafin 让 Kimi K3 的 2.8T MoE 参数在单台 64GB M1 Max 上以 0.27 tok/s 运行,本文详解其原理、安装与使用。
Nearby