登录
联系我们
English
博客
用户案例 解决方案 版本发布 使用技巧 工程技术 公司 全部 归档 RSS
文件系统考古 1：1974-Unix V7 File System

文件系统考古 1：1974-Unix V7 File System
2023-05-29
KRISTIAN KÖHNTOPP
与大家分享一组文件系统考古文章，翻译自：《50 years in filesystems》由 KRISTIAN KÖHNTOPP 撰写。有时候，进步是难以察觉的，特别是当你亲历其中时。而通过对比新旧资料之间的差异，寻找那些推动变革的信息源，更容易看到进步的存在。在Linux（以及大部分 Unix …
从本地到云端：豆瓣如何使用 JuiceFS 实现统一的数据存储

从本地到云端：豆瓣如何使用 JuiceFS 实现统一的数据存储
2023-05-10
曹丰宇
豆瓣数据平台经历了几轮变迁，形成了 DPark + Mesos + MooseFS 的架构。由机房全面上云的过程中，原有这套架构并不能很好的利用云的特性，豆瓣需要做一次全面的重新选型，既要考虑未来十年的发展趋势，也需要找到与现有组件兼容且平滑过渡的解决方案。一番改造后， 豆瓣数据平台目前形成了 S…
加速 AI 训练，如何在云上实现灵活的弹性吞吐

加速 AI 训练，如何在云上实现灵活的弹性吞吐
2023-05-06
苏锐
AI 已经成为各行各业软件研发的基础，带来了前所未有的效率和创新。今天，我们将分享苏锐在 AWS 量化投研行业活动的演讲实录，为大家介绍 JuiceFS 在 AI 量化投研领域的应用经验，也希望为其他正在云上构建机器学习平台，面临热点数据吞吐不足的企业提供一些启发。1. 背景JuiceFS 最初是…
如何借助分布式存储 JuiceFS 加速 AI 模型训练

如何借助分布式存储 JuiceFS 加速 AI 模型训练
2023-04-25
高昌健
随着近几年深度学习的蓬勃发展，越来越多的团队开始遇到了单机存储的瓶颈，分布式存储在 AI 领域的重要性不断凸显。本文以 PyTorch 为例介绍了在模型训练中如何使用 JuiceFS，以及优化训练效率的实践
云上大数据存储：探究 JuiceFS 与 HDFS 的异同

云上大数据存储：探究 JuiceFS 与 HDFS 的异同
2023-04-04
汤友棚
HDFS 作为 Hadoop 提供存储组件，已经成为大数据生态里面数据存储最常用的选择，通常在机房环境部署。JuiceFS 是一个基于对象存储的分布式文件系统，用户可以在云上快速地搭建按需扩容的弹性文件系统。如果企业正在考虑在云上构建大数据平台，了解这两种产品的差异和优缺点，可以为企业迁移或切换存…
存算分离实践：JuiceFS 在中国电信日均 PB 级数据场景的应用

存算分离实践：JuiceFS 在中国电信日均 PB 级数据场景的应用
2023-03-17
杨磊
中国电信大数据团队需要处理数据形式多，数据流转过程复杂，涉及 31 省位置，DPI 等数据，大数据平台需加工聚合后再供各业务方使用。面对上述痛点，团队最终选择 Hadoop 3+JuiceFS+TiKV+Ceph 方案进行存算分离改造，打通 Hadoop 生态与 Ceph 对象存储，实现多集群数据…
浅析三款大规模分布式文件系统架构设计

浅析三款大规模分布式文件系统架构设计
2023-03-08
高昌健
当提到文件系统时，大部分人都很陌生。但实际上我们几乎每天都会使用它。比如，大家打开 Windows、macOS 或者 Linux，不管是用资源管理器还是 Finder，都是在和文件系统打交道。如果大家曾经手动安装过操作系统，一定会记得在第一次安装时需要格式化磁盘，格式化时就需要为磁盘选择使用哪个文…
Sidecar-详解 JuiceFS CSI Driver 新模式

Sidecar-详解 JuiceFS CSI Driver 新模式
2023-02-22
朱唯唯
近期发布的 JuiceFS CSI Driver v0.18 版本中，我们提供了一种全新的方式访问文件系统，即 JuiceFS 客户端以 Sidecar 方式运行于应用 Pod 中，且客户端与应用同生命周期。这个全新的功能将帮助用户在 Serverless Kubernetes 环境中使用 Jui…
JuiceFS 在火山引擎边缘计算的应用实践

JuiceFS 在火山引擎边缘计算的应用实践
2023-02-17
何兰州
云的能力正在从中心延展到边缘，形成新型边缘云基础设施。在只读场景，结合客户端的多级缓存，以及大文件场景，还有读多写少的场景，JuiceFS 有比较大的优势，非常契合边缘渲染场景的业务需求，本文将分享为大家介绍 JuiceFS 在边缘计算场景中的应用。