挑战与痛点
- 传统 Hadoop 是存储计算耦合架构,无法满足公有云上弹性伸缩的需求;
- 由于 HDFS 的三副本设计,使用云盘部署 HDFS 的成本是以往基于裸盘搭建的 3 倍;
- 当企业在公有云上使用裸盘部署 HDFS ,依然面临 IDC 中的复杂的运维问题(例如坏盘、数据损坏等),同时无法享受到云带来的好处。
- 单一命名空间下超过 3 亿文件会遇到 HDFS NameNode 的瓶颈,HDFS 联邦(Federation)运维成本高;
- 直接使用对象存储会面临与不同 Hadoop 发行版和版本之间的兼容性问题,而且性能下降、缺少数据强一致性,影响计算任务效率、稳定性和正确性。
Why JuiceFS?
- JuiceFS 可以实现数据平台存储与计算分离的架构升级,既能实现存储空间弹性伸缩,也能大幅降低存储成本;
- JuiceFS 完全兼容 HDFS API,兼容所有 Hadoop 生态组件,主流 Hadoop 发行版,兼容 Hadoop 2.x 和 3.x;
- JuiceFS 单一命名空间能够支撑百亿级文件、百 PiB 数据存储;
- JuiceFS 提供强一致性保证,内建缓存加速机制,同时保证数据强一致性和高性能。