RecodeX 重构消息，Epoch AI在变更记录中新增“推理性能指数（Inference Performance Index）”版本1，日期为10月19日。该指数用于衡量单块AI加速器可同时处理的推理请求容量，计算时不仅纳入算力，还计入内存、芯片间通信，以及生成回答前处理输入所需的芯片。

指数以英伟达（NVDA）GB300为基准产品，将其得分设为1，用于比较各加速器的并发解码请求数。评分方法为：先按GB300基准对4种模型各自的处理容量做归一化，再取平均值，各模型权重相同；具体性能差异会因模型和输出速度而不同。