Intel 显卡的失败尝试--本地部署大模型（2）

在 2080 Ti 登场之前，这个本地大模型计划的主角是 Intel Arc A770 16GB——而且是两张。选择它的理由很直接：两千元左右价位里少有的 16GB 大显存卡，两张拼出 32GB，理论上足够装下 27B 模型。这一篇记录它从单卡、双卡到混插的三次尝试，以及由此得出的判断——对大模型推理而言，显存容量决定能不能跑，显存带宽决定跑多快，而后者没有补救办法。

先交代平台：以下所有尝试都跑在同一台低成本主机上——华南金牌 X99-TF 主板、Xeon E5-2696 v3、128GB 四通道 DDR3 内存（平台详情见第一篇）。后文反复出现的 CPU 卸载与内存带宽瓶颈，都发生在这个平台上。

第一次：单卡 A770，SYCL + Docker

2026 年 8 月 15 日，A770 上跑通了第一版服务：llama.cpp 的 SYCL 构建封装在 Docker 容器中，加载 Qwen3.8-27B 的 Q4_K_M 量化（19GB），对外提供 OpenAI 兼容 API。

第一个问题立刻出现：19GB 的模型装不进 16GB 的显存。只能部分卸载——64 层中 46 层放在显卡，其余 18 层由 CPU 计算。参数空间是在一次次崩溃中试出来的：54 层以上加载即报 Level Zero OUT_OF_HOST_MEMORY；52 层配 4K 上下文可以，50 层配 32K 就崩；最终定案 46 层 + 128K 上下文，KV 缓存压到 q4_0 并开启 flash-attention。

代价体现在速度上：生成约 4.9 t/s。每生成一个 token，都有 18 层的权重数据要走 PCIe 由 CPU 完成计算，DDR3 内存带宽成为瓶颈。能用，但只是"能动"的水平。

第二次：双卡 A770

既然瓶颈在容量，那就再加一张。两张 A770 拼出 32GB 显存，19GB 的模型终于可以完整卸载（-ngl 99 --split-mode layer），CPU 彻底退出计算。

2026 年 8 月 18 日的调优记录相当完整：

几个值得记录的细节：模型的混合架构 KV 占用很小，f16 KV 也开得起；--split-mode row 在这个 SYCL 构建上无法启动；内核必须不高于 6.17，6.18 之后 Level Zero 的显存检测是坏的；官方模型的 MTP 投机头在当时的 GGUF 量化里并不包含对应张量，这条路也走不通。

双卡的最终成绩是 9.7 t/s——恰好是单卡的两倍。这个数字本身就是判决书：容量翻倍解决了"装不下"的问题，但 decode 阶段每生成一个 token 仍要逐卡读取各自保管的权重，两张 560 GB/s 的卡不会变成一张 1120 GB/s 的卡。

第三次：A770 + 2080 Ti 混插

9 月 5 日，第二张 2080 Ti 故障退场的空窗期，做过最后一次抢救性尝试：用 Vulkan 构建把 A770 与 2080 Ti 跨厂商混插，27B 的 decode 仅 13.1 t/s。同一模型在双 2080 Ti 的 CUDA 后端上是 61 t/s——混插方案当天即被否决。

事实上，双 A770 的命运在更早之前就已经注定：单张 2080 Ti 跑到 21 t/s 时，就已经是双 A770 方案的两倍多了。

顺带一提：Arc Pro B70

这个瓶颈对 Intel 整条产品线都是结构性的。2026 年新发布的 Arc Pro B70 把显存容量加到了 32GB，带宽却仍停留在 608 GB/s（256-bit GDDR6 @ 19Gbps）——容量翻倍，带宽未翻倍。用大显存低价卡跑大模型的思路依然诱人，但 decode 速度的上限在下单那一刻就已经确定了。

小结

两张 A770 的经历用一句话概括：它们证明了大显存可以让模型"跑起来"，也证明了仅此而已。单卡 4.9 t/s、双卡 9.7 t/s、混插 13.1 t/s，与后来双 2080 Ti 的 61 t/s 之间，隔着显存带宽与软件生态两道墙。这两张卡随后退出主力位置，由 2080 Ti 魔改卡接替——那是下一篇的故事。