基于eRDMA增强型实例部署AI训练集群-阿里云服务器ECS使用教程

方式1 通过ECS实例启动AI训练

方式2 通过容器启动AI训练

• 搭建GPU环境

  GPU云服务器提供GPU加速计算能力，实现GPU计算资源的即开即用和弹性伸缩。更多信息，请参见什么是GPU云服务器。

  在步骤一：创建eRDMA实例时，配置镜像时需按以下步骤配置：

1. 选择所需的操作系统及版本。支持的镜像及版本请参见使用限制。

2. 选中安装GPU驱动，然后再选择对应的CUDA版本、Driver版本和CUDNN版本。

• 搭建NCCL环境

  NVIDIA集体通信库（NCCL）是英伟达基于NVIDIA-GPU的一套开源的集体通信库，实现了针对NVIDIA GPU性能优化的多GPU和多节点集体通信原语。NCCL提供了诸如all-gather、all-reduce、broadcast、reduce、reduce-scatter等实现，这些实现经过优化后可以通过PCIe和NVLink等高速互联，从而实现高带宽和低延迟。

1. 远程连接ECS实例。

   具体操作，请参见通过密码或密钥认证登录Linux实例。

2. 运行以下命令，安装git。

    

    yum install -y git

3. 依次运行以下命令，编译nccl。

    

   cd /root
   git clone https://github.com/NVIDIA/nccl.git
   cd nccl/
   make -j src.build NVCC_GENCODE="-gencode=arch=compute_80,code=sm_80"

4. 依次运行以下命令，编译nccl-test。

    

   cd /root
   git clone https://github.com/NVIDIA/nccl-tests.git
   cd nccl-tests/
   make -j MPI=1 NCCL_HOME=/root/nccl/build/

• 搭建MPI环境

  MPI（Message Passing Interface）是支持多编程语言编程的并行计算通信库，具有高性能、大规模性、可移植性、可扩展性等特点。

1. 远程连接ECS实例。

   具体操作，请参见通过密码或密钥认证登录Linux实例。

2. 运行以下命令，安装MPI环境。

    

   yum install -y libgfortran4 libgfortran
   wget https://aiacc.oss-accelerate.aliyuncs.com/build/openmpi-4.0.1-1.el7.x86_64.rpm
   rpm -i openmpi-4.0.1-1.el7.x86_64.rpm

• 搭建AIACC环境

  神龙AI加速引擎AIACC是基于阿里云IaaS资源推出的AI加速引擎，用于优化基于AI主流计算框架搭建的模型，能显著提升训练和推理性能。其中AIACC的aiacc-nccl-plugin组件可以提供eRDMA无感使用的易用性能力以及通信性能优化能力。更多信息，请参见什么是神龙AI加速引擎AIACC。

  说明

  aiacc-nccl-plugin组件已经默认集成在eRDMA驱动中，如果已安装eRDMA驱动，就可以直接使用，无需再重复安装aiacc-nccl-plugin。

  AIACC环境支持的版本及操作系统如下：

• 方式一：通过rpm包安装

   

  wget https://ali-perseus-release.oss-cn-huhehaote.aliyuncs.com/ACSpeed/nccl-plugin/rpm/aiacc-nccl-plugin-1.1.0.rpm
  rpm -i aiacc-nccl-plugin-1.1.0.rpm

• 方式二：通过deb包安装

   

  wget https://ali-perseus-release.oss-cn-huhehaote.aliyuncs.com/ACSpeed/nccl-plugin/deb/aiacc-nccl-plugin-1.1.0.deb
  dpkg -i aiacc-nccl-plugin-1.1.0.deb

• nccl2.8.x~2.16.x的所有版本

• CentOS 7.x/8.x、Alibaba Cloud Linux、Ubuntu 18/20等多种操作系统

1. 远程连接ECS实例。

   具体操作，请参见通过密码或密钥认证登录Linux实例。

2. 运行以下命令，安装AIACC环境。

• 部署AI环境

1. 远程连接ECS实例。

   具体操作，请参见通过密码或密钥认证登录Linux实例。

2. 运行以下命令，创建Python环境。

    

   wget https://ali-perseus-build-dep.oss-cn-huhehaote.aliyuncs.com/Miniconda3-latest-Linux-x86_64.sh
   bash Miniconda3-latest-Linux-x86_64.sh
   source /root/miniconda3/etc/profile.d/conda.sh
   conda create -n py3.8.13_torch1.10.1_cu111 python=3.8

3. 运行以下命令，以PyTorch为例安装AI框架。

    

   conda activate py3.8.13_torch1.10.1_cu111
   pip install torch==1.10.1+cu111 torchvision==0.11.2+cu111 torchaudio==0.10.1 -f https://download.pytorch.org/whl/torch_stable.html

   若系统返回类似如下信息时，则表示AI框架安装成功。

nccl性能测试

e2e性能测试

说明

为完成测试，您需要在集群中的两台ECS实例上分别执行以下操作。

1. 远程连接ECS实例。

   具体操作，请参见通过密码或密钥认证登录Linux实例。

2. 运行以下命令，进入nccl-tests目录。

    

   cd nccl-tests/

3. 新建集群IP地址信息文件。

1. 运行以下命令，新建文件，例如hostfile.txt。

    

   vim hostfile.txt

2. 按i键进入编辑模式，在文件中添加集群信息。

    

   172.20.20.145
   172.20.20.143

   说明

   172.20.20.145和172.20.20.143是ECS实例的私网IP地址，您需要根据实际环境替换。ECS实例的私网IP地址在步骤一：创建eRDMA实例时已获取。

3. 按推荐：TOP云智能建站优惠活动，仅880元即可搭建一个后台管理五端合一的智能网站（PC网站、手机网站、百度智能小程序、微信小程序、支付宝小程序），独享百度搜索SEO优势资源，让你的网站不仅有颜值有排面，更有排名，可以实实在在为您带来效益，请点击进入TOP云智能建站>>>，或咨询在线客服了解详情。