登录
联系我们
English
公司
用户案例 解决方案 版本发布 使用技巧 工程技术 公司 全部 归档 RSS
小米云原生文件存储平台化实践：支撑 AI 训练、大模型、容器平台多项业务

小米云原生文件存储平台化实践：支撑 AI 训练、大模型、容器平台多项业务
2023-09-22
孙佳朋
小米存储团队自 2021 年开始启动了文件存储项目，基于 JuiceFS 构建了一个文件存储平台化产品，并通过 CSI Driver 组件提供了云原生存储的能力，以满足上述各种业务场景对文件存储的需求。 目前，这个平台已经承载了超过 50 亿个文件，总容量 2.5PB 以上，集群吞吐达到每秒…
思谋科技：构建易于运维的 AI 训练平台

思谋科技：构建易于运维的 AI 训练平台
2023-08-04
孙冀川
伴随着思谋科技业务的发展，数据量持续增长，存储平台面临大图片的高吞吐、超分辨率场景下数千万小文件的 IOPS 问题、运维复杂、运维人员紧张等问题，经过比对 NFS、GlusterFS、Lustre 和 CephFS等文件系统，最终选择了JuiceFS，帮助实现高吞吐易运维存储平台的优化。
云上使用 Stable Diffusion ，模型数据如何共享和存储？

云上使用 Stable Diffusion ，模型数据如何共享和存储？
2023-06-16
Herald
本文将介绍如何使用 JuiceFS 云服务创建一个文件系统，让它可以像移动硬盘一样，在任何部署了 Stable Diffusion 应用的计算机上插上即可使用，特别是对于团队使用的情况，JuiceFS 的共享存储能力可以令多个设备共享同一份预训练模型数据。
之江实验室：如何基于 JuiceFS 为超异构算力集群构建存储层

之江实验室：如何基于 JuiceFS 为超异构算力集群构建存储层
2023-06-09
洪晨
由于算力资源的天然异构性，以及不同技术实现的计算能力往往出自不同的系统架构或指令集，会导致软件不兼容性，从而提高了算力使用的门槛，也使得算力利用率难以有效提高。对面挑战最终选择了 JuiceFS 来优化存储系统，实现了简单的部署、多样元数据引擎选项、跨节点文件原子性和一致性，以及缓存功能，减轻底层…
加速 AI 训练，如何在云上实现灵活的弹性吞吐

加速 AI 训练，如何在云上实现灵活的弹性吞吐
2023-05-06
苏锐
AI 已经成为各行各业软件研发的基础，带来了前所未有的效率和创新。今天，我们将分享苏锐在 AWS 量化投研行业活动的演讲实录，为大家介绍 JuiceFS 在 AI 量化投研领域的应用经验，也希望为其他正在云上构建机器学习平台，面临热点数据吞吐不足的企业提供一些启发。1. 背景JuiceFS 最初是…
如何借助分布式存储 JuiceFS 加速 AI 模型训练

如何借助分布式存储 JuiceFS 加速 AI 模型训练
2023-04-25
高昌健
随着近几年深度学习的蓬勃发展，越来越多的团队开始遇到了单机存储的瓶颈，分布式存储在 AI 领域的重要性不断凸显。本文以 PyTorch 为例介绍了在模型训练中如何使用 JuiceFS，以及优化训练效率的实践
存算分离实践：JuiceFS 在中国电信日均 PB 级数据场景的应用

存算分离实践：JuiceFS 在中国电信日均 PB 级数据场景的应用
2023-03-17
杨磊
中国电信大数据团队需要处理数据形式多，数据流转过程复杂，涉及 31 省位置，DPI 等数据，大数据平台需加工聚合后再供各业务方使用。面对上述痛点，团队最终选择 Hadoop 3+JuiceFS+TiKV+Ceph 方案进行存算分离改造，打通 Hadoop 生态与 Ceph 对象存储，实现多集群数据…
JuiceFS 在 VIVO AI 计算平台的存储应用

JuiceFS 在 VIVO AI 计算平台的存储应用
2023-02-10
彭毅格
vivo AI 计算平台致力于解决统一高性能训练环境、大规模分布式训练、计算资源的高效利用调度等痛点。其中轩辕文件存储是 vivo 互联网基础平台存储团队和 JuiceFS 团队共同合作开发并具备高性能分布式元数据、云原生、多级缓存、灵活限流等特性和功能
聊聊 AI 平台存储方案和选型

聊聊 AI 平台存储方案和选型
2023-01-11
苏锐
最近火爆全网的 ChatGPT 再次带来一股 AI 热潮。过去的五年，AI 快速发展并应用到很多领域中。作为一家存储企业，我们也感受到了 AI 行业的活力，和我们交流团队中，AI 企业越来越多，有自动驾驶、蛋白质结构预测、量化投资等不同行业。AI 场景给数据存储带来新挑战，原有的存储方案并不能完好…