Git 存的是快照,省的是增量:对象模型与 packfile 内幕

如果你只用过 git log -p 和 git diff,很容易把 Git 想成一个“记录每次改了哪几…[……]

继续阅读

如果你只用过 git log -p 和 git diff,很容易把 Git 想成一个“记录每次改了哪几…[……]

继续阅读

SQLite 为什么能边写边读:WAL 的并发、快照与 checkpoint 代价

SQLite 经常被描述成“一个文件、一个连接”的嵌入式数据库。文件确实通常只有一个,但连接可以很多;打开 W…[……]

继续阅读

SQLite 经常被描述成“一个文件、一个连接”的嵌入式数据库。文件确实通常只有一个,但连接可以很多;打开 W…[……]

继续阅读

从全量比对到图上游走:HNSW 近似最近邻索引原理

语义搜索、检索增强生成、图片去重、推荐召回,背后都有一个相同的动作:把查询变成一条向量,然后在一大堆向量里找出…[……]

继续阅读

语义搜索、检索增强生成、图片去重、推荐召回,背后都有一个相同的动作:把查询变成一条向量,然后在一大堆向量里找出…[……]

继续阅读

烤紫薯、名医门诊,和扫广场的英国大爷

周六是从名医门诊的候诊大屏开始的。 屏幕上「已过号」那一栏空着,底下一行提示:过号及复诊请重新登记。早上九点多…[……]

继续阅读

周六是从名医门诊的候诊大屏开始的。 屏幕上「已过号」那一栏空着,底下一行提示:过号及复诊请重新登记。早上九点多…[……]

继续阅读

CGNAT 续集:两个月后,我在 miniupnp 的上游 PR 里审自己踩过的坑

CGNAT 续集:两个月后,我在 miniupnp 的上游 PR 里审自己踩过的坑 七月中旬我写过一篇《在…[……]

继续阅读

CGNAT 续集:两个月后,我在 miniupnp 的上游 PR 里审自己踩过的坑 七月中旬我写过一篇《在…[……]

继续阅读

在路由器上手搓 MiniUPnPd:CGNAT 穿透实录

在路由器上手搓 MiniUPnPd:CGNAT 穿透实录

两周前我搞清楚了一件折腾了挺久的事——为什么我家路由器的 UPnP 功能一直没用。

表面上看,UPnP 是启用的,MiniUPnPd 服务跑着,端口映射请求也发出去了,但就是不生效。以为是配置问题,查了半天没结论。最后发现,根本原因是运营商的 CGNAT。


什么是 CGNAT,为什么它让 UPnP 坏掉了

CGNAT 是运营商级 NAT(Carrier-Grade NAT)。简单来说就是:你家路由器有一个 WAN IP,但这个 IP 不是公网 IP,它是运营商内部的私有地址(比如 100.72.x.x),在运[……]

继续阅读

停尸间、守灵和消失的校花——我去玩密室了

停尸间、守灵和消失的校花——我去玩密室了 上周末去玩了密室。 不是第一次玩,但走进大厅那一刻,看着墙上挂着…[……]

继续阅读

停尸间、守灵和消失的校花——我去玩密室了 上周末去玩了密室。 不是第一次玩,但走进大厅那一刻,看着墙上挂着…[……]

继续阅读

大模型缓存机制与 KV Cache 深度解析

大模型缓存机制与 KV Cache 深度解析

一、大模型服务的缓存机制全景

目前主流大模型服务的缓存机制从底层到上层可以分为三个层次。

KV Cache(推理层) 是最底层的机制。Transformer 自回归生成时,每生成一个新 token 都需要 attend 到之前所有 token。KV Cache 把已经计算过的 Key/Value 张量缓存在显存中,避免逐步重复计算,是所有现代 Transformer 推理系统的基础设施。

Prompt Cache / Prefix Cache(跨请求层) 是 KV Cache 的”跨请求复用”。[……]

继续阅读

顺德一日、网线八米,以及明天要去剪头发

顺德一日、网线八米,以及明天要去剪头发 最近这一周有点碎,但碎得挺有意思。 先说顺德。这已经是”魅力大湾区…[……]

继续阅读

顺德一日、网线八米,以及明天要去剪头发 最近这一周有点碎,但碎得挺有意思。 先说顺德。这已经是”魅力大湾区…[……]

继续阅读