实例宕机并产生日志“not syncing: Out of memory: system-wide panic_on_oom is enabled”怎么解决？

点击这里进入阿里云ECS官方页面，立即免费体验云服务器ECS>>>

实例宕机并产生日志“not syncing: Out of memory: system-wide panic_on_oom is enabled”

• 问题描述

  Linux操作系统的ECS实例在运行过程中宕机，产生了“not syncing: Out of memory: system-wide panic_on_oom is enabled”日志，调用栈类似如下：

   

  [3624965.306801] Kernel panic - not syncing: Out of memory: system-wide panic_on_oom is enabled
  [3624965.307824] CPU: 5 PID: 8510 Comm: AliDetect Kdump: loaded Tainted: GOE  ------------ T 3.10.0-1127.10.1.el7.x86_64 #1
  [3624965.308923] Hardware name: Alibaba Cloud Alibaba Cloud ECS, BIOS 449e491 04/01/2014
  [3624965.309671] Call Trace:
  [3624965.309935]  [<ffffffff8f37ffa5>] dump_stack+0x19/0x1b
  [3624965.310444]  [<ffffffff8f379541>] panic+0xe8/0x21f
  [3624965.310913]  [<ffffffff8edc26b5>] check_panic_on_oom+0x55/0x60
  [3624965.311480]  [<ffffffff8edc2aab>] out_of_memory+0x23b/0x4f0
  [3624965.312027]  [<ffffffff8f37b3e0>] __alloc_pages_slowpath+0x5db/0x729
  [3624965.312628]  [<ffffffff8edc91a6>] __alloc_pages_nodemask+0x436/0x450
  [3624965.313233]  [<ffffffff8ee18e78>] alloc_pages_current+0x98/0x110
  [3624965.313808]  [<ffffffff8edbe3d7>] __page_cache_alloc+0x97/0xb0
  [3624965.314364]  [<ffffffff8edc0f90>] filemap_fault+0x270/0x420
  [3624965.314912]  [<ffffffffc04ea7d6>] ext4_filemap_fault+0x36/0x50 [ext4]
  [3624965.315530]  [<ffffffff8ededf4a>] __do_fault.isra.61+0x8a/0x100
  [3624965.316095]  [<ffffffff8edee4fc>] do_read_fault.isra.63+0x4c/0x1b0
  [3624965.316680]  [<ffffffff8edf5d60>] handle_mm_fault+0xa20/0xfb0
  [3624965.317231]  [<ffffffff8f38d653>] __do_page_fault+0x213/0x500
  [3624965.317775]  [<ffffffff8f38da26>] trace_do_page_fault+0x56/0x150
  [3624965.318378]  [<ffffffff8f38cfa2>] do_async_page_fault+0x22/0xf0
  [3624965.318954]  [<ffffffff8f3897a8>] async_page_fault+0x28/0x30

• 问题原因

  实例内存不足发生了OOM，且内核参数vm.panic_on_oom的值被设置为1或2。

• 值为1时，表示内存不足时，有可能会触发kernel panic，也有可能启动OOM killer。

• 值为2时，表示内存不足时，强制触发kernel panic。

• 解决方案

  方案一：将内核参数vm.panic_on_oom设置为0

  方案二：优化内存使用

  您可以将内核参数vm.panic_on_oom设置为0，在内存不足时启动OOM killer来解决上述问题。

  重要

  更改vm.panic_on_oom的值为0可能会导致系统在内存不足时启动OOM killer，并终止占用大量内存的进程。这可能会对系统的稳定性和运行中的应用程序产生影响。因此，在进行此类更改之前，请确保了解其影响，并评估系统的内存管理和应用程序的需求。

1. 远程连接ECS实例。

2. 执行以下命令，打开文件/etc/sysctl.conf。

    

   sudo vim /etc/sysctl.conf

3. 按i键，修改为以下内容。

    

   vm.panic_on_oom = 0

   这将禁用系统在内存不足时发生崩溃。

4. 按Ecs键，输入:wq，保存文件并退出编辑器。

5. 执行以下命令以加载sysctl.conf中的更改。

    

   sudo sysctl -p