阿里云服务器ECS实例宕机并产生日志“containerd: page allocation failure”怎么解决？

点击这里进入阿里云ECS官方页面，立即免费体验云服务器ECS>>>

实例宕机并产生日志“containerd: page allocation failure”

• 问题描述

  Linux操作系统的ECS实例在运行过程中宕机，产生了“containerd: page allocation failure”日志，调用栈类似如下：

   

  [1558839.130515] ------------[ cut here ]------------
  [1558839.131215] kernel BUG at lib/idr.c:1163!
  [1558839.131797] invalid opcode: 0000 [#1] SMP 
  [1558839.132411] Modules linked in: binfmt_misc AliSecGuard(OE) AliSecProcFilter64(OE) AliSecNetFlt64(OE) xt_CT xt_multiport ipt_rpfilter iptable_raw ip_set_hash_net ip_set_hash_ip ipip tunnel4 ip_tunnel veth ip6table_nat nf_conntrack_ipv6 nf_defrag_ipv6 nf_nat_ipv6 ip6_tables iptable_mangle nf_conntrack_netlink xt_conntrack ipt_MASQUERADE nf_nat_masquerade_ipv4 xt_mark xt_addrtype xt_set ip_set_bitmap_port ip_set_hash_ipportnet ip_set_hash_ipportip ip_set_hash_ipport ip_set nfnetlink dummy xt_comment iptable_nat nf_nat_ipv4 nf_nat iptable_filter tcp_diag inet_diag overlay(T) sunrpc nfit ppdev libnvdimm iosf_mbi crc32_pclmul ghash_clmulni_intel aesni_intel lrw gf128mul glue_helper ablk_helper cryptd joydev virtio_balloon pcspkr parport_pc parport i2c_piix4 nf_conntrack_ipv4 nf_defrag_ipv4 ip_vs_sh ip_vs_wrr
  [1558839.141715]  ip_vs_rr ip_vs nf_conntrack libcrc32c br_netfilter bridge stp llc ip_tables ext4 mbcache jbd2 ata_generic pata_acpi virtio_net virtio_console virtio_blk cirrus drm_kms_helper syscopyarea sysfillrect sysimgblt fb_sys_fops ttm drm ata_piix libata crct10dif_pclmul crct10dif_common crc32c_intel serio_raw virtio_pci virtio_ring floppy virtio drm_panel_orientation_quirks
  [1558839.147553] CPU: 6 PID: 21465 Comm: kworker/6:0 Tainted: G           OE  ------------ T 3.10.0-957.21.3.el7.x86_64 #1
  [1558839.149181] Hardware name: Alibaba Cloud Alibaba Cloud ECS, BIOS 449e491 04/01/2014
  [1558839.150656] Workqueue: events free_work
  [1558839.151766] task: ffff8fbc4d6e9040 ti: ffff8fb8b898c000 task.ti: ffff8fb8b898c000
  [1558839.153196] RIP: 0010:[<ffffffff967774e1>]  [<ffffffff967774e1>] ida_simple_remove+0x41/0x50
  ...
  [1558839.171901] Call Trace:
  [1558839.173133]  [<ffffffff966306c4>] __mem_cgroup_free+0x234/0x250
  [1558839.174750]  [<ffffffff966306f5>] free_work+0x15/0x20
  [1558839.176259]  [<ffffffff964b9ebf>] process_one_work+0x17f/0x440
  [1558839.177872]  [<ffffffff964baf56>] worker_thread+0x126/00
  [1558839.179421]  [<ffffffff964bae30>] ? manage_workers.isra.25+0x2a0/0x2a0
  [1558839.181092]  [<ffffffff964c1da1>] kthread+0xd1/0xe0
  [1558839.182839]  [<ffffffff964c1cd0>] ? insert_kthread_work+0x40/0x40
  [1558839.184543]  [<ffffffff96b75c37>] ret_from_fork_nospec_begin+0x21/0x21
  [1558839.186238]  [<ffffffff964c1cd0>] ? insert_kthread_work+0x40/0x40
  ...

• 问题原因

  操作系统内核版本Bug：在开启memory control group的情况下，memcg_caches[]数组会增加每个已注册的内核内存缓存。如果没有可用的内存，即发生了内存不足事件，可能会导致系统崩溃。

• 解决方案

  CentOS 7.7建议升级到kernel-3.10.0-1062.el7及以上版本，CentOS 7.6建议升级到kernel-3.10.0-957.27.2.el7及以上版本。具体操作，请参见升级Linux ECS实例内核。

  重要

  在操作前，建议您为ECS实例创建快照备份数据，避免因误操作造成的数据丢失。创建快照的具体操作，请参见创建一个云盘快照。