Strata:125B MoE 与百万上下文--本地部署大模型(5)
2026年10月13日 · 3146 字 · 7 分钟
上一篇记录了 27B 在 170HX 单卡上的部署演进。这一篇讲讲目前的形态:170HX 与 2080 Ti 组成异构搭档,跑 125B 的 MoE 模型,上下文拉到百万级。
2026年10月13日 · 3146 字 · 7 分钟
上一篇记录了 27B 在 170HX 单卡上的部署演进。这一篇讲讲目前的形态:170HX 与 2080 Ti 组成异构搭档,跑 125B 的 MoE 模型,上下文拉到百万级。
2026年10月13日 · 2829 字 · 6 分钟
第三篇的结尾,故障的 2080 Ti 退役,破解后的 CMP 170HX 上机(解锁过程见第一篇)。40GB 显存第一次让 27B 模型可以单卡完整容纳——Q6_K_XL 权重 23.6GB,还能留下充裕的 KV 空间。这一篇记录这张卡上 27B 部署的一步步演进:从 llama.cpp 的 24 t/s,到 DFlash2 加持下的 95+ t/s(greedy 采样下短上下文可到 145 t/s,两种口径的区别后文会讲清楚)。
2026年10月13日 · 4497 字 · 9 分钟
第一篇介绍了两张"变异"显卡的来历,上一篇则是 Intel 显卡的失败尝试。这一篇记录双 RTX 2080 Ti 22GB 时期的部署实践,以及那张非 A 核心(TU102-300)魔改卡从首次故障到最终退役的完整过程。
2026年10月13日 · 1379 字 · 3 分钟
在 2080 Ti 登场之前,这个本地大模型计划的主角是 Intel Arc A770 16GB——而且是两张。选择它的理由很直接:两千元左右价位里少有的 16GB 大显存卡,两张拼出 32GB,理论上足够装下 27B 模型。这一篇记录它从单卡、双卡到混插的三次尝试,以及由此得出的判断——对大模型推理而言,显存容量决定能不能跑,显存带宽决定跑多快,而后者没有补救办法。
2026年10月13日 · 3204 字 · 7 分钟
本地部署大模型,第一个门槛就是显存。24GB 的 RTX 4090 要一万多,48GB 的 A6000 更贵。预算够的话直接买就是了,不够就只能想别的办法——比如让显卡"变异"。
这个系列记录我用两张"变异"显卡搭本地大模型服务的过程:一张是魔改显存的 RTX 2080 Ti 22GB,一张是破解后的矿卡 CMP 170HX 40GB。这一篇先说说这两张卡的来历,以及我踩过的坑。
2026年10月13日 · 154 字 · 1 分钟
用 three.js 把网站图标里那只白色小鸟搬进了 3D:隐式曲面融合出的饱满白身体和大圆头、短小橙色尖喙、带分层羽毛且贴合身侧的翅膀、带脚趾的橙色小脚,站在橄榄绿草地上。模型与动画由 GPT-6.1 Sol 制作。
2026年10月13日 · 760 字 · 2 分钟
Hello World!
这里将作为我的个人网站,分享我探索的经历和个人的感悟。本站基于 Hugo 和 hugo-theme-ladder 主题搭建,整体走简洁路线:静态生成、无数据库、秒开。