大模型缓存机制与 KV Cache 深度解析
一、大模型服务的缓存机制全景
目前主流大模型服务的缓存机制从底层到上层可以分为三个层次。
KV Cache（推理层） 是最底层的机制。Transformer 自回归生成时，每生成一个新 token 都需要 atte[……]
月度归档： 2026 年 4 月
用 AI Agent 搭建个人自动化系统：半年实践与思考
我有一个习惯，能让 AI 帮我做的事，绝不自己动手。 不是懒——好吧，也有一点——但更重要的是，一旦你把重复的…[……]
我有一个习惯，能让 AI 帮我做的事，绝不自己动手。 不是懒——好吧，也有一点——但更重要的是，一旦你把重复的…[……]