Aleph Alpha开源781亿参数模型Kolibri，支持104万token上下文
RecodeX 重构消息，德国人工智能企业Aleph Alpha发布开源权重模型Kolibri，支持德语和英语。该模型总参数781亿，单token激活参数约3.46亿，采用专家混合（MoE）架构，最大可处理104万8576个token的上下文。公司于10月3日将模型权重上传至Hugging Face，并采用Apache 2.0许可证。Aleph Alpha表示，实际训练的最长上下文长度为26万2144个token，并建议在该范围内使用以保证运行效率。Kolibri支持工具调用和可调节推理模式。