RecodeX 重构消息,英伟达在技术博客中介绍,CUDA 13.4的MPS V3新增按任务设置GPU内存限制的功能,将MPS V3与Linux cgroup结合,可为每个容器设定GPU内存使用范围。
内存限制分为软限制和硬限制:软限制是任务的内存目标值,超出后分配仍可能成功,但当实际内存竞争发生时,MPS可驱逐或终止该任务;硬限制则是内存分配的上限,超过该上限的分配会因内存不足而失败。英伟达同时公开了将该功能应用于Kubernetes任务的方法。
RecodeX 重构消息,英伟达在技术博客中介绍,CUDA 13.4的MPS V3新增按任务设置GPU内存限制的功能,将MPS V3与Linux cgroup结合,可为每个容器设定GPU内存使用范围。
内存限制分为软限制和硬限制:软限制是任务的内存目标值,超出后分配仍可能成功,但当实际内存竞争发生时,MPS可驱逐或终止该任务;硬限制则是内存分配的上限,超过该上限的分配会因内存不足而失败。英伟达同时公开了将该功能应用于Kubernetes任务的方法。