如何解析Context Cache在prompt系列54中的代码示例及工作原理？

喂喂！最近搞大模型推理是不是总被首Token卡脖子？前一秒刚发完请求后一秒就开始刷手机等后来啊——别慌！今天咱就唠唠能治这个病的 Context Cache！ 我跟你交个底... 不是那种复制粘贴论文公式哦——我尽量用咱俩唠嗑的方式扒开它到底怎么干活~

先打个底：KV Cache 是什么？不明白这个没法聊 Context

就这样吧... 害…要是没搞懂 KV Cache 就去碰 Context Cache？那跟盲人摸象没啥区别啦！简单说：Transformer 的 self-attention 是个「话痨」——算第 k 个 token 的时候,得把前面 k-1 个 token 的 Key 和 Value 全拉过来算内积,复杂度是 O！长序列直接卡成ppt…

调整一下。