RecodeX 重构消息，一项研究显示，非英语语言在AI模型处理时往往需要消耗更多token，其中消耗最高的语言所需token量是最低语言的1.5至5倍，由此形成所谓的“tokenizer税”。这意味着使用这些语言的用户成本更高，可用的上下文空间也更少。