RecodeX 重构消息，字节跳动创始人张一鸣在Seed团队全员大会上表示，公司不会将模型蒸馏作为提升AI能力的捷径，愿为长期目标牺牲短期收益。据悉，字节跳动是国内主要AI公司中唯一大语言模型几乎全为专有的企业，其不愿采用蒸馏被视为大模型落后于对手的原因之一。团队内部已就此事争论良久，国内竞品开源模型的快速发展加剧了分歧。蒸馏技术可节省训练时间和算力开销，使新模型直接学习前沿模型的推理步骤。