Qwen3.8 27B 与 170HX--本地部署大模型(4)

2026年10月13日 · 2829 字 · 6 分钟

第三篇的结尾,故障的 2080 Ti 退役,破解后的 CMP 170HX 上机(解锁过程见第一篇)。40GB 显存第一次让 27B 模型可以单卡完整容纳——Q6_K_XL 权重 23.6GB,还能留下充裕的 KV 空间。这一篇记录这张卡上 27B 部署的一步步演进:从 llama.cpp 的 24 t/s,到 DFlash2 加持下的 95+ t/s(greedy 采样下短上下文可到 145 t/s,两种口径的区别后文会讲清楚)。

2080 Ti 魔改交火--本地部署大模型(3)

2026年10月13日 · 4497 字 · 9 分钟

第一篇介绍了两张"变异"显卡的来历,上一篇则是 Intel 显卡的失败尝试。这一篇记录双 RTX 2080 Ti 22GB 时期的部署实践,以及那张非 A 核心(TU102-300)魔改卡从首次故障到最终退役的完整过程。

Intel 显卡的失败尝试--本地部署大模型(2)

2026年10月13日 · 1379 字 · 3 分钟

在 2080 Ti 登场之前,这个本地大模型计划的主角是 Intel Arc A770 16GB——而且是两张。选择它的理由很直接:两千元左右价位里少有的 16GB 大显存卡,两张拼出 32GB,理论上足够装下 27B 模型。这一篇记录它从单卡、双卡到混插的三次尝试,以及由此得出的判断——对大模型推理而言,显存容量决定能不能跑,显存带宽决定跑多快,而后者没有补救办法。

富人靠科技,穷人靠变异--本地部署大模型(1)

2026年10月13日 · 3204 字 · 7 分钟

本地部署大模型,第一个门槛就是显存。24GB 的 RTX 4090 要一万多,48GB 的 A6000 更贵。预算够的话直接买就是了,不够就只能想别的办法——比如让显卡"变异"。

这个系列记录我用两张"变异"显卡搭本地大模型服务的过程:一张是魔改显存的 RTX 2080 Ti 22GB,一张是破解后的矿卡 CMP 170HX 40GB。这一篇先说说这两张卡的来历,以及我踩过的坑。

用 three.js 画一只小鸟

2026年10月13日 · 154 字 · 1 分钟

用 three.js 把网站图标里那只白色小鸟搬进了 3D:隐式曲面融合出的饱满白身体和大圆头、短小橙色尖喙、带分层羽毛且贴合身侧的翅膀、带脚趾的橙色小脚,站在橄榄绿草地上。模型与动画由 GPT-6.1 Sol 制作。