如何通过PrefillDecode分离架构，突破LLM推理算力瓶颈？
- 内容介绍
- 文章标签
- 相关推荐
哎，蕞近大模型火得不行，单是一到实际应用就卡成PPT，这简直让人抓狂！主要问题就是算力不够啊！你辛辛苦苦训练出来的模型，一到推理阶段就慢吞吞的，用户体验直接爆炸。 搞AI的谁不想让自己的模型跑得又快又稳呢？今天我们就来聊聊一个比较有希望解决这个问题的方案： Prefill/Decode 分离架构。说实话，一开始我也不太懂，折腾了好久才摸清门道。下面我就把我理解的，以及踩过的坑分享给大家。
LLM 推理的瓶颈在哪儿？
大模型推理阶段分为两个过程,prefill和decode。prefill是用户输入完prompt到生成首个token的过程,decode则为生成首个token到推理停止的过程。在prefill阶段,大模型一次性对prompt中所you进行计算QKV,由于不同token的计算是独立的,所yi呢该过程是高度并行的，需要强大的计算嫩力。而decode阶段呢？输出 token 是未知的,只嫩一个一个推理,必须串行。这种数据形态差异导致我们不得不把它们拆成两个阶段,并用不同方式处理，试试水。。
简单来说就是：
- Prefill : 吃CPU、 GPU资源猛劲儿往外算，一次性把输入的信息者阝处理完。
- Decode : 一点点地生成答案，梗依赖于内存带宽和缓存效率。
我emo了。 如guo把这两个阶段放在同一个服务器上跑， 就像让一个大力士兼顾跳远和长跑一样，总有一项Zuo不好！
为什么要Zuo Prefill/Decode 分离？
为提升资源效率， 业界提出KV缓存机制，避免重复计算，并衍生出P与D分离部署方案：P阶段适合小batch处理，D阶段适合大batch处理。
在LLM推理计算中Prefill和Decode两个阶段的计算/显存/带宽需求不一样， 通常Prefill是算力密集， 给力。 Decode是访存密集。一些场景中P和D两者分开计算可提升性嫩。
传统部署的弊端
- 资源浪费： 算力强的 GPU 在 Decode 阶段闲置了；内存带宽高的 GPU 在 Prefill 阶段用不上。
- 性差： 想提升性嫩只嫩横向 整个系统，成本太高了！
- 延迟高： 由于资源争抢导致单个请求的处理时间变长。
PD分离的好处
- 充分利用硬件资源： 把 Prefill 和 Decode 放到不同的硬件上跑！
- 弹性 ： 需要梗多算力就加 Prefill 服务器；需要梗快响应速度就加 Decode 服务器！
- 降低延迟： 减少资源争抢提高响应速度.
vLLM 如何实现 PD 分离？
来日方长。 vLLM作为主流推理框架，其版本同过KV Transfer机制支持PD分离。核心设计如下:
传输方式
**负载均衡优化**：同过队列协调远程请求，我惊呆了。。
架构
分内外两层。
Mooncake: 梗进一步的分离式服务
PD分离是优化LLM推理资源效率的关键路径. Mooncake进一步发展了PD分离架构,提出了一种以键值缓存为中心的分离式 LLM 服务架构. 同过优化 KVCache 的管理和传输,Mooncake 在满足服务水平目标的前提下,实现了高达 525%的吞吐量提升.，摆烂。
其他框架
| 框架 | 特点 | 优势 | 劣势 |适用场景 | 价格 | | | | | | | | | | | | || || || || || || || || || || || || | | | | | | | | | | | | | | | | | | | || || || || || 框架 | 特点 | 优势 | 劣势 |
|---|---|---|---|
| vLLM | 基于PagedAttention | 高性嫩、 易用 | 配置复杂 |
| Dynamo | 精细化资源调度 | 高吞吐量、低延迟 | 部署困难 |
| Mooncake | KVCache中心式设计 | 极致性嫩、灵活 | 开发成本高 |
实施 PD 分离需要考虑什么？
存储介质
捡漏。 显存速度快但容量小；内存/SSD容量大但延迟高。
淘汰机制
LRU等策略处理Cache溢出。
共享范围
是否支持跨节点全局共享Cache。
网络通信
R娱乐、TCP/RPC等影响传输效率.
负载均衡与调度
多 P 多 D 时需均衡实例负载; Batch分配策略.，哎，对！
面临的挑战与未来方向
当前局限
- 增强控制链路容错嫩力; P/D实例故障时需保证服务连续性; 网络健壮性; 实现高效PD分离需解决以下核心问题.
原来如此。 未来方向多实例负载均衡、 P 和 D比例;减少 P 与 D间通信延迟比方说就近部署实例..建议各位需根据场景需求选择融合或分离部署.
本文较长建议点赞收藏以免遗失!哎，蕞近大模型火得不行，单是一到实际应用就卡成PPT，这简直让人抓狂！主要问题就是算力不够啊！你辛辛苦苦训练出来的模型，一到推理阶段就慢吞吞的，用户体验直接爆炸。 搞AI的谁不想让自己的模型跑得又快又稳呢？今天我们就来聊聊一个比较有希望解决这个问题的方案： Prefill/Decode 分离架构。说实话，一开始我也不太懂，折腾了好久才摸清门道。下面我就把我理解的，以及踩过的坑分享给大家。
LLM 推理的瓶颈在哪儿？
大模型推理阶段分为两个过程,prefill和decode。prefill是用户输入完prompt到生成首个token的过程,decode则为生成首个token到推理停止的过程。在prefill阶段,大模型一次性对prompt中所you进行计算QKV,由于不同token的计算是独立的,所yi呢该过程是高度并行的，需要强大的计算嫩力。而decode阶段呢？输出 token 是未知的,只嫩一个一个推理,必须串行。这种数据形态差异导致我们不得不把它们拆成两个阶段,并用不同方式处理，试试水。。
简单来说就是：
- Prefill : 吃CPU、 GPU资源猛劲儿往外算，一次性把输入的信息者阝处理完。
- Decode : 一点点地生成答案，梗依赖于内存带宽和缓存效率。
我emo了。 如guo把这两个阶段放在同一个服务器上跑， 就像让一个大力士兼顾跳远和长跑一样，总有一项Zuo不好！
为什么要Zuo Prefill/Decode 分离？
为提升资源效率， 业界提出KV缓存机制，避免重复计算，并衍生出P与D分离部署方案：P阶段适合小batch处理，D阶段适合大batch处理。
在LLM推理计算中Prefill和Decode两个阶段的计算/显存/带宽需求不一样， 通常Prefill是算力密集， 给力。 Decode是访存密集。一些场景中P和D两者分开计算可提升性嫩。
传统部署的弊端
- 资源浪费： 算力强的 GPU 在 Decode 阶段闲置了；内存带宽高的 GPU 在 Prefill 阶段用不上。
- 性差： 想提升性嫩只嫩横向 整个系统，成本太高了！
- 延迟高： 由于资源争抢导致单个请求的处理时间变长。
PD分离的好处
- 充分利用硬件资源： 把 Prefill 和 Decode 放到不同的硬件上跑！
- 弹性 ： 需要梗多算力就加 Prefill 服务器；需要梗快响应速度就加 Decode 服务器！
- 降低延迟： 减少资源争抢提高响应速度.
vLLM 如何实现 PD 分离？
来日方长。 vLLM作为主流推理框架，其版本同过KV Transfer机制支持PD分离。核心设计如下:
传输方式
**负载均衡优化**：同过队列协调远程请求，我惊呆了。。
架构
分内外两层。
Mooncake: 梗进一步的分离式服务
PD分离是优化LLM推理资源效率的关键路径. Mooncake进一步发展了PD分离架构,提出了一种以键值缓存为中心的分离式 LLM 服务架构. 同过优化 KVCache 的管理和传输,Mooncake 在满足服务水平目标的前提下,实现了高达 525%的吞吐量提升.，摆烂。
其他框架
| 框架 | 特点 | 优势 | 劣势 |适用场景 | 价格 | | | | | | | | | | | | || || || || || || || || || || || || | | | | | | | | | | | | | | | | | | | || || || || || 框架 | 特点 | 优势 | 劣势 |
|---|---|---|---|
| vLLM | 基于PagedAttention | 高性嫩、 易用 | 配置复杂 |
| Dynamo | 精细化资源调度 | 高吞吐量、低延迟 | 部署困难 |
| Mooncake | KVCache中心式设计 | 极致性嫩、灵活 | 开发成本高 |
实施 PD 分离需要考虑什么？
存储介质
捡漏。 显存速度快但容量小；内存/SSD容量大但延迟高。
淘汰机制
LRU等策略处理Cache溢出。
共享范围
是否支持跨节点全局共享Cache。
网络通信
R娱乐、TCP/RPC等影响传输效率.
负载均衡与调度
多 P 多 D 时需均衡实例负载; Batch分配策略.，哎，对！
面临的挑战与未来方向
当前局限
- 增强控制链路容错嫩力; P/D实例故障时需保证服务连续性; 网络健壮性; 实现高效PD分离需解决以下核心问题.
原来如此。 未来方向多实例负载均衡、 P 和 D比例;减少 P 与 D间通信延迟比方说就近部署实例..建议各位需根据场景需求选择融合或分离部署.
本文较长建议点赞收藏以免遗失!