腾讯云计算加速套件TACO Kit-提供网络协议、通信策略、AI框架、模型编译等多层级优化

腾讯云计算加速套件TACO Kit（TencentCloud Accelerated Computing Optimization Kit）是基于腾讯云 Iaas 产品的 AI 计算加速套件。提供网络协议、通信策略、AI 框架、模型编译等多层级的优化，是一套全生态的计算加速方案。支持裸金属、云服务器、容器等算力形态，支持 CPU、GPU、NPU 等芯片算力组合。帮助客户降低 AI 优化门槛的同时，大幅提升 AI 训练和推理业务性能，节约算力成本。

点击这里申请腾讯云VIP帐号，立即体验计算加速套件>>>

开箱即用

TACO Kit是一站式的计算加速套件，通过TACO Kit，您无需配置复杂的软件依赖环境，即可开箱即用地部署业务。

性能优越

TACO Kit 整合了腾讯自研和社区的加速组件，提供性能优越的计算加速服务，助力您云上业务效能提升。

可被集成

TACO Kit 提供对业务代码无侵入的加速组件，您可以保持原有的使用部署习惯，根据需要选择不同层级的加速组件，透明无感地适配您各种业务场景。

软硬件协同优化

TACO Kit 集成了合作硬件厂商的定向开源的深度优化方案，并融合自研和社区的前沿加速技术，与 TACO Kit 框架有机结合，带来软硬协同优化的极致性能。

屏蔽底层硬件差异

TACO Kit 兼容 CPU、GPU、NPU 等多种芯片，可运行在云服务器、物理机、容器等各种环境，提供异构计算的统一加速入口。

兼容多种上层软件框架

支持多种框架模型，TenSorflow、PyTorch 已开放支持，ONNX 等框架已在筹备中。

训练加速

AI 模型规模的扩大及训练数据的增多，用户对模型的迭代效率要求也随之增长，单个 GPU 的算力已无法满足大部分业务场景，使用单机多卡或多机多卡训练已成为趋势。

TACO Train AI 训练加速

• 面向训练场景开箱即用的多层级优化加速组件

• 通过自研高性能网络协议 HRRP 优化网络传输，基于Horovod 深度优化分布式训练的通信策略，并集成自研 AI 框架 TTensorflow

• 有效解决 VPC 网络环境下分布式训练效率问题，提高加速比和模型迭代速度

推理加速

AI 算法用于生产环境大规模模型的推理部署，在不同模型、不同硬件，不同业务细分场景，需考虑如何标准化一套接口高效地优化和部署业务模型。

TACO Infer AI 推理加速

• 轻量易用、无缝集成已有深度学习框架的 AI 推理加速软件

• 集成硬件厂商的定向开源加速方案，整合先进的编译优化、图优化和算子优化技术，兼容 CPU、GPU、NPU 等多种芯片

• 一行优化接口，无感接入业务，轻松实现优化和部署模型

常见问题

计算加速套件TACO Kit 包含哪些产品？

包含 TACO Train AI 训练加速引擎和 TACO Infer AI 推理加速引擎。

计算加速套件TACO Kit 适用于哪些场景？

计算机视觉。例如，ResNet、MobileNet、Inception、ViT 等。

推荐系统。例如，Wide&Deep、DeepFM 等。

自然语言处理。例如，BERT、Transformer、ASR 等。

TACO Infer AI 推理加速引擎支持哪些硬件和 AI 框架？

硬件支持支持 Intel 和 AMD 系列的 CPU 优化，后续会支持更多优化目标硬件，请您关注产品动态。

AI 框架已对 TensorFlow 1.14和1.15两个主要版本进行了全面的测试。如使用其他版本遇到任何问题，欢迎 联系我们 获取支持。

TACO Train AI 训练加速引擎包含哪些组件？

TACO Train 目前提供了三个训练加速组件：

Tencent Tensorflow 1.15：基于 Tensorflow 1.15深度优化的训练框架（简称 TTF）。

LightCC：基于 Horovod 深度优化的分布式训练框架。

HARP：自研用户态网络协议栈。

如何获取 TACO Infer AI 推理加速引擎下载链接？

TACO Infer AI 推理加速引擎目前处于内测阶段，您可以通过 联系我们 填写问卷后获取下载链接。