https://zz3656.github.io/hugo-blog/tags/exo/Recent content in Exo on 因特吧https://zz3656.github.io/hugo-blog/logo.pnghttps://zz3656.github.io/hugo-blog/logo.pngHugozh_CNSun, 03 May 2026 05:35:00 +0800https://zz3656.github.io/hugo-blog/posts/exo-%E5%B0%86%E5%A4%9A%E5%8F%B0%E8%AE%BE%E5%A4%87%E7%BB%84%E6%88%90ai%E6%8E%A8%E7%90%86%E9%9B%86%E7%BE%A4%E7%9A%84%E5%AE%8C%E6%95%B4%E6%8C%87%E5%8D%97/Sun, 03 May 2026 05:35:00 +0800https://zz3656.github.io/hugo-blog/posts/exo-%E5%B0%86%E5%A4%9A%E5%8F%B0%E8%AE%BE%E5%A4%87%E7%BB%84%E6%88%90ai%E6%8E%A8%E7%90%86%E9%9B%86%E7%BE%A4%E7%9A%84%E5%AE%8C%E6%95%B4%E6%8C%87%E5%8D%97/<h2 id="什么是-exo">什么是 exo？</h2> <p>exo 是一个由 <a href="https://x.com/exolabs">exo labs</a> 维护的开源项目（Apache 2.0 协议），它的核心理念非常简单但强大：<strong>把你所有的设备连接起来，组成一个统一的 AI 推理集群</strong>。</p> <p>不管你手上有 MacBook、Linux 服务器、还是其他设备，只要装上 exo，它们就能自动发现彼此，协同运行大语言模型。这意味着你可以运行单个设备放不下的大模型——比如用 4 台 Mac Studio 跑 671B 参数的 DeepSeek v3.1。</p> <p>项目地址：<a href="https://github.com/exo-explore/exo">https://github.com/exo-explore/exo</a></p> <h2 id="核心特性">核心特性</h2> <h3 id="1-自动设备发现">1. 自动设备发现</h3> <p>运行 exo 的设备会自动在局域网内发现彼此，无需任何手动配置。你不需要写配置文件，不需要指定 IP 地址，启动就能用。</p> <h3 id="2-thunderbolt-rdma-支持">2. Thunderbolt RDMA 支持</h3> <p>exo 是首个支持 Thunderbolt 5 RDMA（远程直接内存访问）的 AI 推理框架。通过 Thunderbolt 5 连接设备，可以将设备间延迟降低 99%。这意味着添加更多设备不仅增加了显存，还真正加快了推理速度。</p> <h3 id="3-拓扑感知的自动并行">3. 拓扑感知的自动并行</h3> <p>exo 会实时分析你的设备拓扑——每台设备的算力、内存，以及设备间的网络延迟和带宽——然后自动决定如何最优地拆分模型。你不需要手动配置流水线并行还是张量并行，exo 帮你搞定。</p> <h3 id="4-张量并行tensor-parallelism">4. 张量并行（Tensor Parallelism）</h3> <p>支持将模型张量切分到多台设备上并行计算。实测效果：</p> <ul> <li>2 台设备：最高 1.8 倍加速</li> <li>4 台设备：最高 3.2 倍加速</li> </ul> <h3 id="5-多种-api-兼容">5. 多种 API 兼容</h3> <p>exo 同时兼容以下 API 格式，可以直接对接你现有的工具：</p>