腾讯云数据加速器 GooseFS-高性能、低延迟、大吞吐特性 方便用户在不同存储系统管理和流转数据

腾讯云数据加速器（Data Accelerator Goose File System，GooseFS）采用了分布式集群架构，具备高性能、低延迟、大吞吐等特性；能够为上层计算应用提供统一的命名空间和访问协议，方便用户在不同的存储系统管理和流转数据。GooseFS 能够加速海量数据分析、机器学习、人工智能等业务访问存储的性能，适用于基因计算、自动加速等业务场景。

点击这里申请腾讯云VIP帐号，立即体验数据加速器 GooseFS>>>

GooseFS

• 加速方式

  缓存加速，GooseFS 提供读写缓存，数据持久化存储于对象存储 COS 中

• 部署模式

  独立部署（与计算节点混部）、半托管、全托管

• 极致性能：基于分布式缓存架构，为用户提供近计算端的高性能数据访问能力。

• 成本集约：充分利用计算节点的闲置本地盘资源提供数据访问加速能力。

• 生态亲和性：支持 Spark、Tensorflow 等大数据、AI计算框架，管理多种存储服务。

• 易用性：通过透明加速能力提供平滑升级能力。

• 稳定性：支持CLS、云 Prometheus等日志监控服务，简化运维流程，提升稳定性。

GooseFSx

• 加速方式

  高性能加速，主机请求写入 GooseFSx 后立即返回到主机

• 部署模式

  全托管

• 超高性能：可提供每秒数百 GB 的吞吐量、数百万级 IOPS，亚毫秒级的低延时。

• 与计算生态无缝融合：兼容 POSIX 文件语义，可批量自动挂载为本地目录。

• 数据流动：主机通过 GooseFSx 立即访问 COS 数据，可将结果回写 COS。

• 冷热分层弹性高效：GooseFSx 与 COS 相互解耦，各自弹性扩展且深度融合。

• 简单易用：全托管服务、上手即用，无需关心部署、配置、调优、管理、运维等。

多数据源支持

可对接多种数据源，允许存储任意规模的结构化、半结构化、非结构化数据，同时可以按原样存储数据。

计算弹性

通过计算与存储分离，实现计算资源的弹性伸缩，满足客户对计算资源的灵活调度。

成本最优

为集中式存储池，可快速扩展或缩减存储资源，实现存储数据冷热分层，降低大数据分析与机器学习存储成本。

服务集成

无缝支持腾讯云各类计算分析、机器学习产品，包括弹性 MapReduce、流计算 Oceanus。

按需流动数据

自动执行、手动触发或周期性流动数据，主机通过 GooseFSx 立即访问和高性能处理 COS 的数据，并按需将计算结果持久化到 COS。

极高性能和极低时延

采用专为高性能工作负载设计的全并行架构，性能随容量扩展而线性扩展，迸发出每秒数百 GB 的吞吐量，数百万级 IOPS，和亚毫秒级延时。

机器学习

在经典机器学习场景中，训练数据量大，同时要求很大的内网带宽。

主要能力

• 超大带宽：可以提供超大的内网带宽，满足机器学习场景大带宽需求。

• 多数据源支持：可对接多种数据源，允许存储任意规模的结构化、半结构化、非结构化数据。

• 性能加速：通过数据加速器 GooseFS、元数据加速器、AZ 加速器等多级加速服务，实现超越本地 HDFS 的性能。

大数据分析

客户基于开源 Hadoop 生态构建大数据处理与分析，会面临计算资源与存储资源扩容速度不匹配、存储系统需对接多数据源的问题。

主要能力

• 计算存储分离：通过计算与存储分离，实现计算资源弹性伸缩，满足客户对计算资源的灵活调度。

• 多数据源支持：可对接多种数据源，允许存储任意规模的结构化、半结构化、非结构化数据。

• 高性能业务架构：通过数据加速器 GooseFS、元数据加速器、AZ 加速器等多级加速服务，提升计算业务访问性能。

交互式查询

通过容器服务，结合 Flink、TensorFlow 等开源应用，搭建云原生数据 ETL 集群和分析集群，实现计算资源的弹性化；通过数据加速器 GooseFS、元数据加速器、AZ 加速器等多级加速服务，提升计算业务访问性能；通过对象存储服务作为数据湖存储底座，实现海量异构数据的低成本存储。

主要能力

• 计算存储分离：通过计算与存储分离，实现计算资源弹性伸缩，满足客户对计算资源的灵活调度。

• 高性能业务架构：通过数据加速器 GooseFS、元数据加速器、AZ 加速器等多级加速服务，提升计算业务访问性能。

• 丰富生态支持：可存储 Parquet、ORC 多种格式数据源，支持 Spark、Presto、Flink 等多种大数据插件。

AI 训练仿真场景

AI 训练仿真场景，对存储系统的极致性能需求；训练仿真，一站打通。

主要能力

• 超高性能：可提供每秒数百 GB 的吞吐量、数百万级 IOPS 和亚毫秒级延时。

• 无缝融合应用生态：兼容 POSIX 文件语义，能自动挂载成主机的本地目录，无缝融入容器化的应用生态。

• 训练仿真一站打通：一套存储满足多种模式的 AI 训练、仿真、推理等业务，满足 Windows 和 Linux 多平台需求，满足随机 IO、高带宽 IO、稳定、低时延等多种性能需求。

高性能计算场景

高性能计算场景，需要极高的存储性能；满足不同规模 GPU 算力需求，性能线性扩展。

主要能力

• 超高性能：数据从 COS 按需预热到数据加速器，满足 HPC 计算的数百 GB 的高吞吐和亚毫秒级低延时的性能需求，性能随容量扩展而线性扩展。

• 与计算生态无缝融合：兼容 POSIX 文件语义，能够批量自动挂载成主机的本地目录，实现存储资源快速弹性供给。

• 冷热分层弹性高效：温冷数据持久化到 COS，热数据缓存到数据加速器，数据加速器与 COS 相互解耦，各自弹性伸缩，又深度融合，实现数据按需流动。

蔚来

智能电动汽车品牌

提供容器化场景下的高性能访问和文件共享服务，利用 COS 作为数据湖存储底座，为客户提供成本性能兼具的方案。

酷狗

音频媒体播放软件

通过 GooseFS 协助酷狗实时查询大数据业务优化，通过加速 IO 访问的方案协助客户提升 Presto/Spark 业务优化查询速度，实现存储性能优化。

高途

在线教育平台

通过 GooseFS+公有云 CHDFS 的方案实现存算分离，相比友商的本地盘方案，为客户降低了40%的整体成本，提升30%的计算作业性能。

易久批

互联网商城平台

通过 Fluid + GooseFS 的技术方案，加速 AI 训练业务的模型分发速度，有效提升容器启动性能，实现数倍性能优化。