随着大模型的广泛应用于在线服务，我们注意到一个普遍且略显反常的现象：计算能力持续增强，但吞吐量却未见显著提升。这背后的原因是什么？在一些如DeepSeek的MoE模型部署中，多个计算卡并行处理请求，每组卡既要完成各自的任务，还需通过跨组通信协作解码。这种模式导致解码过程必须协调进行，一组如果处理进度较慢，其他组即使计算速度更快也只能等待。这种等待模式在生成每个token时都会出现，轻负载的组常常因为等待重负载的组而造成资源浪费，随着请求数的增加，这种等候现象累积，使得效率受损。因此，瓶颈的关键在于“谁在等待谁”而非算力本身。

针对这个问题，香港科技大学的研究团队与华为2012实验室提出了一种新方法——BalanceRoute。他们的思路是明确界定问题后进行优化，利用数学模型描述同步等待，并将短期负载预测转化为实时路由决策。研究表明，在96卡的实验中，采用该方法的BR-H相较于最强基线，其解码吞吐量提升了约15%。这一研究成果已经被NeurIPS 2026会议接受，并已在双方合作开发的MaaS推理服务系统MathBot-Pie中应用。

大模型的回答生成通常分为预填充阶段和解码阶段。在预填充中，系统处理完整的输入，保存中间结果作为KV缓存；而在解码阶段，则逐步生成输出token。在这种PD分离的系统中，这两个阶段由不同的资源处理，预填充完成后，路由器将任务分配给解码单元，而后者的执行也加入了已有的KV缓存。但在实际应用中，简单的轮询或分配策略无法平衡请求对于KV信息的不同需求，导致在同步约束下，较轻的组仍需等待较重的组。

随着解码过程的推进，生成的每个token后，新的KV信息也将被引入。在这个阶段，某些组的负载会因新请求的到来而变化，这种动态负载情况给传统的请求分配带来了挑战。为此，论文中提出了一种不迁移的设计：路由器在未知输出长度和不断变化的负载条件下作出决策，确保请求在完成之前始终留在分配的单元中。

通过数学建模，研究者能够量化不同单元间的负载差异，从而形成不均衡指标。这个指标有助于反映出同步等待期间的空闲资源状况，目标是减少这种空闲在连续解码步骤中的累积。比如，当四组的负载分别为10、7、6和5时，产生的负载不均衡指标为12。若在某组增加适量的负载以填补差距，则可能降低该指标，至于如何在进行负载分配时兼顾各组之间的平衡，这正是研究的关键。

BalanceRoute方法的引入，旨在为路由器提供H步窗口的预测能力，以便更好地把握即将完成的请求和即将到来的新请求之间的关系，从而提升整个系统的效率。