生成式 AI 存储解决方案

为什么选择 JuiceFS ?

百亿文件规模

随着大语言模型(LLM)及其他基础模型的参数规模的增大,训练数据集也显著增长。JuiceFS 能在单一卷中管理高达数百亿个文件,这一能力已在多家企业的生产环境中得到验证,非常适用于处理大规模 AI 数据集。

高聚合吞吐

通过灵活的缓存配置,JuiceFS 能够提供无限的聚合吞吐能力。借助多级缓存、淘汰优先级和容量权重等配置策略,充分利用现有硬件资源,避免额外的专属硬件开销。

高效的大文件写入

大模型训练中,checkpoint 的保存涉及大量大文件写入,JuiceFS 采用了分块存储设计,并通过增加并发访问对象存储,写缓存功能,增强大文件顺序写入的吞吐能力,有效减少了 GPU 等待时间。

云原生设计

JuiceFS 专为云环境设计,可以在全球公有云上部署,并无缝集成到现有云基础设施中,适应不同的云平台和区域要求。

跨云文件系统

在跨多区域使用 GPU 资源时,JuiceFS 的镜像文件系统功能,能保证数据在全球范围内的就近访问和一致性。有效减轻了跨区域访问的成本负担,并优化了数据调度与分发。

高性价比

JuiceFS 独特的架构设计将性能与容量分离:利用云端高可用、弹性、可靠且经济的对象存储来提供大容量;在计算节点附近使用 NVMe SSD 作为缓存,以确保高性能的访问速度。

相关产品特性

分布式缓存

大量客户端共享同一批缓存数据,有效提升性能。

镜像文件系统

为文件系统创建一个或多个完整的镜像,内容完全一致,支持跨区域、跨云的高效数据存储、共享和同步。

S3 网关

可以将 JuiceFS 文件系统以 S3 协议对外提供服务,使得应用可以通过 S3 SDK 访问 JuiceFS 上存储的文件。

优异的性能表现

查看 Fio 性能测试结果,包含大小文件顺序读、写;并发读、写。

JuiceFS CSI 驱动

实现了容器编排系统与 JuiceFS 文件系统之间的接口。在 Kubernetes 下,JuiceFS 以持久卷形式提供给 Pod 使用。

POSIX 兼容

支持 POSIX、HDFS、S3 接口,可作为 AI 作业管线的统一存储,减少数据拷贝和迁移

MiniMax:基于 JuiceFS 构建高性能、低成本的大模型 AI 平台

MiniMax 是领先的通用人工智能科技公司。为了兼顾灵活性和成本效率,MiniMax选择了混合云策略,在 IDC 和云上都有 GPU 算力,JuiceFS 可以为其提供统一的数据访问体验。MiniMax 选择 JuiceFS 企业版作为其 AI 平台的存储解决方案,以支持各类模型在数据清洗、模型训练和模型推理等场景中的高性能数据访问需求。【详情

知乎:多云架构下基于 JuiceFS 大模型训练,提升写入 checkpoint 存储稳定性

知乎是中文互联网领先的问答社区,月活用户超1亿。在进行大模型训练时,知乎在多云环境下分散 GPU 资源,迫切需要一个跨云的文件系统以减少数据重复拷贝。同时,其集群运行的多种作业,如 SFT、Alignment 和 Pretrain Job,产生超过 100GB 的 Checkpoint 数据,在进行写操作时会造成严重的系统延迟。综合这些挑战,知乎采用了JuiceFS 企业版,在多云架构下为知乎的大模型训练提供稳定存储。【详情

生成式 AI 领域的用户


相关资源

了解更多,预约演示