大模型缓存机制与 KV Cache 深度解析
一、大模型服务的缓存机制全景
目前主流大模型服务的缓存机制从底层到上层可以分为三个层次。
KV Cache（推理层） 是最底层的机制。Transformer 自回归生成时，每生成一个新 token 都需要 atte[……]
分类： 技术沙龙
围绕具体技术课题、话题与项目，讲清原理、示例、应用场景及局限。
何锐的个人博客
围绕具体技术课题、话题与项目，讲清原理、示例、应用场景及局限。
目前主流大模型服务的缓存机制从底层到上层可以分为三个层次。
KV Cache（推理层） 是最底层的机制。Transformer 自回归生成时，每生成一个新 token 都需要 atte[……]