- 深入解析 TokenSpeed:LightSeek 把 LLM 推理引擎拆成"控制面 + 执行面"到底解决了什么
lightseekorg/tokenspeed 47MB / 85K 行 / 12 状态 FSM。控制面 C++ 状态机 + 执行面 Python + 可插拔 kernel + Blackwell 最快 MLA decode,这套拆法值得每个撸推理引擎的人读完。
30 min - 一只蜂鸟如何喂饱九头大象:Colibri 引擎把 744B 到 2.8T MoE 跑在 25GB 内存上的诚实拆解
纯 C 推理引擎 Colibri:把 VRAM/RAM/NVMe 当成单一存储层级,JIT 思维跑权重,9 个模型族共用一套 headers——一篇讲透蜂鸟擎大象的工程级魔术。
17 min -
Colibrì 深度解析:用 12 万行纯 C 把 744B MoE 塞进 25GB 笔记本一个 12 万行纯 C 写的 MoE 推理引擎,把 744B~2.8T 参数的前沿模型跑在消费级硬件:三层内存层级化、JIT 式权重调度、KV 缓存持久化、双 SSD 镜像与九模型族。
26 min - 深入解析 DeepSeek-V4.1-Flash：把 1M 上下文 KV 缓存压到 1/8 的极致压缩工程
拆解 DeepSeek V4.1-Flash：CED 让 prefill 减半、CSA2 跨层 KV 复用、FP4 主 KV 量化、SWA Bounded Replay 把持久化 KV 压到 V4 的 1/8，以及 552B 多模态 MoE 的训练 / 后训练 / 部署栈
49 min - 深入解析 MiMo-V2.5 推理优化：把 Hybrid SWA 的理论效率推到生产极限
逐章拆解小米 MiMo 团队发布的 MiMo-V2.5 全栈推理优化工程实践：Hybrid SWA 理论效率上界、KVCache 双池重构与 SWA 感知前缀树、自研 GCache 分布式缓存、LLM-Router 调度、Prefill/Decode 流水线与多模态 EPD 优化
22 min - DeepSeek-V4 技术解析：通向百万 token 上下文的高效智能
深入解析 DeepSeek-V4 系列模型的技术创新，包括混合注意力架构、CSA/HCA 压缩注意力、mHC 超连接和 Muon 优化器等核心特性
8 min
Back