到了年底向大家汇报工作进展的时间。今年是 GenerativeAI 涌现的一年,JuiceFS 也迎来了很多 AI 领域的新用户和新应用场景,它们也给 JuiceFS 带来了一系列变化。
01 产品迭代
在这一年里,JuiceFS 社区版发布了 8 个版本。其中,最重要的版本是 v1.1 LTS(Long-Term Service)。v1.1 引入了用户期待已久的多项新功能包括目录空间统计、配额、克隆等,并与 v1.0 完全兼容。JuiceFS 参考 Golang 采用了双 LTS 版本的维护方式,确保我们一边提供 LTS 版本的持续维护,一边保证产品的快速迭代和发展。点击此处了解 v1.1。
为了让 Kubernetes 环境中的用户更好地使用使用 JuiceFS ,JuiceFS CSI 驱动也做了大量优化,总共发布了 10 个版本。这些版本中包含了许多重要特性,例如增加了 JuiceFS CSI Dashboard(点击此处了解详情) 、支持数据迁移等。
对于每位用户来说,文档是使用过程中不可或缺的重要资源。细心的用户可能已经注意到,过去一年中,我们的文档内容在持续增加和完善。例如在文档“命令参考”中,重新调整了结构,增加了新特性的版本提示,方便用户查找和使用;对“技术架构”和“读写流程” 增加了更为直观的图片说明,使底层数据存储原理更易于理解。目前,JuiceFS 文档站每月的访问量已经超过 10 万次。
社区版的持续迭代,离不开用户们的反馈与贡献。从 2021 年 1 月开源,至目前为止,我们已经收到超过 1,100 个 Issues,解决了其中 90%,提交了 2,700 多个 Pull Requests,并有超过 100 位贡献者参与了 JuiceFS 项目。
在生态合作方面:
-
CNCF 毕业项目 TiKV 已经是 JuiceFS 元数据引擎中备受欢迎的选择;
-
越来越多用户采纳 CNCF Sandbox 项目 Fluid + JuiceFS 的方式管理和调度 AI 数据集;
-
支持了 CNCF Sandbox 项目 Dragonfly,通过 P2P 技术加速 AI 模型分发与部署;
-
为 Byzer 提供存储支持,简化数据挖掘与 AI 建模;
-
与 Hudi、Iceberg、Delta Lake 等数据湖结合,为用户构建统一存储;
-
阿里云 ECI、火山引擎 VCI、华为云 CCI 等 Serverless Kubernetes 环境已经支持 JuiceFS。
与此同时,这一年我们在 JuiceFS 企业版上也投入了大量精力,以更好地满足高性能场景的需求。最新发布的企业版 v5.0 引入了多项新功能,包括使用共享块设备提升高负载小文件写入性能;为对象存储提供透明缓存加速,文件定期转存对象格式,以及针对分布式缓存管理的诸多优化。点击此处了解企业版5.0。
02 社区发展
JuiceFS 云服务 2017 年上线,社区版在 2021 年 1 月开源。在过去的几年里,用户规模持续增长。最新 Github Star 9.1 K,行业内关于 JuiceFS 的讨论、案例越来越多。
根据部分社区版用户上报的数据,几项指标都有超过 100% 的增长:
-
JuiceFS 文件系统数量超过 3,400 (增长 100%);
-
活跃客户端数量超过 35,000(增长 400%);
-
数据量 138 PiB(增长 180%);
-
文件数量 697 亿(增长 120%)。
Generative AI 领域,已经有不少用户开始使用 JuiceFS。其中,MiniMax 是国内首家掌握文本到视觉、文本到语音以及文本到文本三种模态大模型能力的创业公司;还有 SeaArt,LiblibAI 等 Stable Diffusion 模型分享创作社区;稿定设计、LeptonAI、BentoML、Diffus 等 SaaS 服务的背后也都有 JuiceFS 的身影。
在应用 AI 技术的其他行业,如自动驾驶、金融量化交易、消费电子、生物医药、社交平台等也不乏 JuiceFS 的用户,包括 Momenta、地平线、大疆、多家百亿规模的量化投资基金、vivo、小米、深势科技、MemVerge 和小红书、知乎等企业。另外,今年的新用户中,半导体行业客户在芯片设计中也开始使用 JuiceFS。我们非常荣幸能为这些行业领导者提供服务。
这一年,在各大行业大会 QCon、KubeCon、DataFun、开源中国、阿里云、掘金、AWS 等都能看到 JuiceFS 的身影,非常感谢大会的主办方。另外,我们在杭州、深圳以及北京举办了 3 场线下 Meetup,与这些城市的用户进行了深入的交流;以及 4 场线上活动,超过 3,000人 参与;全年一共举办了 20 场 Office Hours 活动,在线解答用户问题。
在此,我们要对以下分享了 JuiceFS 案例的用户表示特别感谢。
-
李航,地平线 自动驾驶百亿文件训练存储架构实践
-
高阁,同盾科技 大数据平台上云:存储成本省 85%,性能媲美 HDFS
-
杨磊,中国电信 JuiceFS 在中国电信日均 PB 级数据场景的应用
-
曹丰宇,豆瓣 如何使用 JuiceFS 实现统一的数据存储
-
洪晨,之江实验室 如何基于 JuiceFS 为超异构算力集群构建存储层
-
孙翼川,思谋科技 构建易于运维的 AI 训练平台
-
李阳良,一面数据 Hadoop 迁移云上架构设计与实践
-
柯维鸿,网易游戏 大数据平台上云架构设计与实践
-
李铭,多点Dmall 大数据存算分离下的存储架构探索与实践
-
孙佳朋,小米科技 云原生文件存储平台化实践
-
uuwang,正能量云 基于JuiceFS 的低成本 Elasticsearch 云上备份存储
-
宋巨超,刻行 机器人行业数据闭环:从对象存储到 JuiceFS
-
Nam Kyung-wan,NAVER 为 AI 平台引入存储方案 JuiceFS
自从 JuiceFS 社区版在 GitHub 开源以来,我们的目标一直是为全球用户提供服务。今年,JuiceFS 在海外的发展正呈现出加速趋势。在 GitHub 上 JuiceFS 获得的星标, 官网访问量以及社区用户活跃集群数据显示,都有 50% 来自于海外;我们的 Slack 英文频道成员数量今年也增加了一倍。
JuiceFS 的多篇文章还被海外技术平台如 InfoQ、DZone 等收录。在 2023 年末,我们还收到了来自韩国 NAVER 的案例投稿,NAVER 是韩国最大的搜索引擎,他们已经将 JuiceFS 作为 AI 平台的存储底座,这是 JuiceFS 发布的第一篇来自海外投稿的案例。
最后,想与大家分享的是,对于我们的团队而言,2023 年是一个重要的里程碑。在这一年,我们实现了正向现金流,实现了以商业收入支撑开源产品和社区运营的完整闭环,这对于一家创业公司而言具有深远的意义,这为我们接下来的产品开发和社区发展奠定了坚实的基础。感谢每一位用户对 JuiceFS 的认可。
目前,我们还有多个岗位在招聘,详情点击此处,欢迎志同道合的技术人才加入,共同打造世界级的存储产品。