本地部署 相关的 AI 工具

站内和「本地部署」有关的 4 款工具、5 篇文章 ;其中 3 款有免费额度 ,3 款国内可直接打开。

相关工具

全部工具 →

相关文章

全部文章 →
Featured
2026年11月15日

llama.cpp 与 ggml 一起发布 1.0:真正的变化不是功能,是「以后不许随便破坏 API」

11 月 13 日 llama.cpp 和 ggml 同日发布 v1.0.0。3.5 年、13.5 万 stars 之后,1.0 的核心是一套语义化版本规则:MAJOR 只在公开 C API 破坏时跳。同一版里删掉 35 个废弃函数、上 FP8 KV cache 与 MoE 的 CPU 缓存份额,并修了 llama-server 的 SSRF、CORS、DNS rebinding——如果你把 llama-server 暴露在局域网,这一版该升。

#llama.cpp #ggml #本地部署 #推理框架
阅读全文
Featured
2026年11月14日

145B 端侧模型的发布文,和它自己的仓库文档对不上:Mac 跑不了、内存口径也不一致

11 月 12 日 Edge0 开源 Edge0-145B/120B,宣称 29GB 峰值内存、80+ tok/s 能在笔记本跑 145B 模型。核对仓库后:Q3_K 下载 105.4GB,40GB 专家库在内存、51.2GB 词表在 SSD,官方文档要求 Linux/Windows + NVIDIA GPU + CUDA 13,macOS 尚未发布,许可也不是 OSI 开源。附它赢在哪两项基准、输在哪三项。

#Edge0 #端侧模型 #本地部署 #MoE
阅读全文
2026年10月19日

Meta Muse Spark Open 发布:816B 开源权重模型,42B 激活参数,两块 Mac Studio 就能跑

10 月 15 日 Meta Superintelligence Labs 发布 Muse Spark Open——816B 总参数的稀疏 MoE 模型(256 专家 top-8 路由,每 token 仅激活 42B),1M 上下文、原生多模态。MLX 支持 NVFP4 量化,两块 M5 Ultra Mac Studio 经 Thunderbolt 5 直连即可本地推理,Meta 称其「迄今最强的美国开源权重模型」。但采用 Muse Model License——是开源权重,不是开源软件。

#Meta #Muse Spark Open #开源权重 #MoE
阅读全文

Nearby

相邻标签