KV池化

AI Infra第四章，如何让推理引擎一卡双用？

在AI Infra的圈子里混久了较大家会被一个问题反复折磨：算力市场价格较高，太市场价格较高了。看着昂市场价格较高的A100或H800租赁账单， 再看看机房里那几块嗡嗡作响但利用率时常在30%左右徘徊的卡，架构师都会感到心肉。很更多时候，我