RecodeX 重构消息,一款基于Rust语言实现的LLM连续批处理(continuous batching)主机调度器公布性能数据,在单个vCPU上实现每秒19.1万token的处理吞吐量。该方案针对大模型推理服务中的请求调度环节,通过连续批处理提升单核资源利用率。