已核实事实 Tensormesh宣布推出面向AI推理的数据管理层Tensormesh Platform,并表示该产品已经上市供应。平台定位为支持多层级、可扩展的KV缓存管理软件,采用企业级Kubernetes部署,可跨基础设施运行。 Tensormesh Platform支持在HBM、CPU和存储层之间自动管理KV Cache。其前缀缓存功能可重复利用提示词开头部分已经计算的KV缓存;NonPrefix Caching(CacheBlend)可重复利用提示词任意位置已经计算的缓存块,该功能被定位为适合RAG场景。 在缓存传输方面,平台支持从集群中的任意对等节点直接获取KV缓存。用户还可以通过控制器API,按工作负载或整个集群对缓存条目执行固定、查找、移动、压缩和清除操作。 厂商称,这是首个可用于任何LLM、推理编排软件和存储供应商的企业就绪KV缓存管理产品。这一表述属于厂商对产品定位及兼容范围的声明,采购方仍需结合自身技术栈核验其实际适配情况。 Tensormesh披露,Nebius高级软件工程师Patrick Lundquist表示,Tensormesh在多个模型的P2P