阿里云服务器ECS使用教程-基于AIACC加速器快速实现LLaMA-7B指令微调

准备工作

操作前，请先在合适的地域和可用区下创建VPC和交换机。

• 本文使用ecs.gn7i-c32g1.32xlarge规格的ECS实例进行训练，仅部分地域可用区支持该实例规格，具体请参见ECS实例规格可购买地域。

• 关于如何创建VPC和交换机，请参见创建专有网络和创建交换机。

创建ECS实例

启动训练

1. 下载tmux并创建一个tmux session。

   yum install tmux
   tmux

   说明

   训练耗时较长，建议在tmux session中启动训练，以免ECS断开连接导致训练中断。

2. 进入Conda环境。

   conda activate llama_train

3. 获取llama-7b-hf预训练权重。

1. 下载llama-7b权重。

   cd /root/LLaMA
   git lfs install
   git clone https://huggingface.co/decapoda-research/llama-7b-hf

2. 修复官方代码Bug。

   sed -i "s/LLaMATokenizer/LlamaTokenizer/1" ./llama-7b-hf/tokenizer_config.json

4. 创建并设置DeepSpeed配置文件。

   cd LLaMA/stanford_alpaca

   cat << EOF | sudo tee ds_config.json
   {
     "zero_optimization": {
       "stage": 3,
       "contiguous_gradients": true,
       "stage3_max_live_parameters": 0,
       "stage3_max_reuse_distance": 0,
       "stage3_prefetch_bucket_size": 0,
       "stage3_param_persistence_threshold": 1e2,
       "reduce_bucket_size": 1e2,
       "sub_group_size": 1e8,
       "offload_optimizer": {
         "device": "cpu",
         "pin_memory": true
       },
       "offload_param": {
         "device": "cpu",
         "pin_memory": true
       },
       "stage3_gather_16bit_weights_on_model_save": true
     },
     "communication":{
       "prescale_gradients": true
     },
     "fp16": {
       "enabled": true,
       "auto_cast": false,
       "loss_scale": 0,
       "initial_scale_power": 32,
       "loss_scale_window": 1000,
       "hysteresis": 2,
       "min_loss_scale": 1
     },
     "train_batch_size": "auto",
     "train_micro_batch_size_per_gpu": "auto",
     "wall_clock_breakdown": false,
     "zero_force_ds_cpu_optimizer": false
   }
   EOF

5. （可选）如果使用多台ECS实例进行训练，需配置hostfile。

   本文使用一台ECS实例进行训练，可跳过此步骤。

   如下示例表示配置两台ECS实例（GPU总数为8）时，需要填入每台ECS实例的内网IP和slots，其中slots表示进程数（即GPU数）。

   cat > hostfile <<EOF
   {private_ip1} slots=4
   {private_ip2} slots=4
   EOF

6. 启动训练。

   启动训练的命令脚本如下，alpaca_data.json为指令数据集文件，$MASTER_PORT请替换为2000-65535的随机端口号。

   deepspeed --master_port=$MASTER_PORT --hostfile hostfile 
   train.py 
   --model_name_or_path ../llama-7b-hf 
   --data_path ./alpaca_data.json 
   --output_dir ./output 
   --report_to none 
   --num_train_epochs 1 
   --per_device_train_batch_size 2 
   --per_device_eval_batch_size 2 
   --gradient_accumulation_steps 8 
   --evaluation_strategy "no" 
   --save_strategy "steps" 
   --save_steps 400 
   --save_total_limit 2 
   --learning_rate 2e-5 
   --weight_decay 0. 
   --warmup_ratio 0.03 
   --lr_scheduler_type "cosine" 
   --logging_steps 1 
   --deepspeed ./ds_config.json 
   --tf32 False 
   --bf16 False 
   --fp16

   启动训练后预期返回如下：

   

   说明

   训练完成大概需要7小时左右，在tmux session中进行训练的过程中，如果断开了ECS连接，重新登录ECS实例后执行tmux attach命令即可恢复tmux session，查看训练进度。

效果展示