收购完成强化推理平台 AI云服务商Nebius已收购推理优化公司Inferize,后者是一家专注于推理优化的技术企业。此次收购旨在强化Nebius Token Factory的生产AI托管推理平台。 据厂商介绍,Inferize团队具备快速开发能力,在较短时间内即完成了可工作的原型。该公司的核心技术可缩短大型AI模型启动和扩展的时间,使推理工作负载具备弹性特征。 解决推理冷启动痛点 Inferize的技术聚焦于解决推理部署中的关键瓶颈。Cold starts指模型在服务单个请求前需要加载的时间,这一过程会在多种场景下造成GPU资源闲置:当需求激增需要启动新实例时,以及在强化学习期间更新权重时,已分配的GPU处于空闲状态。 据厂商称,Inferize的技术削减了所谓的“闲置GPU税”,使计算容量能更紧密地跟随实际使用量扩展。这一特性对于运行大规模生产AI模型的企业而言,意味着更高效的资源利用。 对存储选型与系统集成的启示 Inferize的加入是Nebius完善推理平台技术栈的最新动作。此前已有其他技术团队为其Token Factory带来模型层面、内核层面以及系统层