Backblaze与WEKA NeuralMesh已完成两个平台的整合、规模调整、调优和测试,使AI基础设施团队可以直接部署经过验证的双层存储架构。 方案架构与数据分层 WEKA NeuralMesh作为性能层为GPU提供数据,Backblaze B2 Cloud Storage作为容量层存储其他数据。原始非结构化数据——包括训练集、媒体库和源文件——存储在B2中。当数据集成为性能敏感作业的一部分时,可用于NeuralMesh并从那里提供给加速器。这种分层设计使AI工作流能够在成本优化的容量层与高性能性能层之间灵活切换。 检查点管理整合 NeuralMesh的Snap-to-Object功能可将NeuralMesh文件系统的完整快照写入对象存储。以B2作为目标存储时,检查点与原始数据统一存放于容量层。据厂商称,这种设计简化了检查点管理流程,使数据能够在不同存储层间高效流转。 选型评估 AI工作负载对存储系统提出双重需求:GPU需要微秒级数据访问以保持高效运行,同时数据集和检查点规模增长至艾字节级别。单一存储层难以同时满足延迟与容量的要求,促使厂商采用分层架构来平衡性能