阿里云服务器ECS实例宕机并产生日志“RIP:blk_mq_rq_timed_out”怎么解决？

点击这里进入阿里云ECS官方页面，立即免费体验云服务器ECS>>>

实例宕机并产生日志“RIP:blk_mq_rq_timed_out”

• 问题描述

  Linux操作系统的ECS实例在运行过程中宕机，产生了“RIP:blk_mq_rq_timed_out”日志，调用栈类似如下：

   

  [8837401.113325] BUG: unable to handle kernel NULL pointer dereference at 00000000000000d0
  [8837401.114219] IP: [<ffffffffae575638>] blk_mq_rq_timed_out+0x18/0xa0
  [8837401.114892] PGD 8000000885d08067 PUD e1beda067 PMD 0 
  [8837401.115471] Oops: 0000 [#1] SMP 
  [8837401.115855] Modules linked in: AliSecNetFlt64(OE) AliSecGuard(OE) AliSecProcFilter64(OE) xt_multiport veth ipt_rpfilter ip6t_rpfilter ip6t_MASQUERADE nf_nat_masquerade_ipv6 xt_set iptable_raw ip6table_nat nf_conntrack_ipv6 nf_defrag_ipv6 nf_nat_ipv6 ip6table_mangle ip6table_filter ip6table_raw ip6_tables ip_set_hash_ip ip_set_hash_net ip_set sch_htb xt_nat xt_statistic ipt_REJECT nf_reject_ipv4 nf_tables iptable_mangle xt_comment xt_mark ipt_MASQUERADE nf_nat_masquerade_ipv4 nf_conntrack_netlink iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 xt_addrtype iptable_filter xt_conntrack nf_nat tcp_diag inet_diag nfsv3 nfs_acl nfs lockd grace fscache overlay(T) sunrpc nfit libnvdimm iosf_mbi crc32_pclmul ppdev virtio_balloon joydev ghash_clmulni_intel parport_pc aesni_intel parport lrw gf128mul glue_helper i2c_piix4 ablk_helper pcspkr cryptd ip_vs_rr ip_vs_sh ip_vs_wrr ip_vs nf_conntrack ip_tables ext4 mbcache jbd2 ata_generic pata_acpi virtio_net net_failover virtio_console virtio_blk failover cirrus drm_kms_helper syscopyarea sysfillrect sysimgblt fb_sys_fops ttm drm ata_piix libata crct10dif_pclmul crct10dif_common crc32c_intel serio_raw virtio_pci virtio_ring floppy drm_panel_orientation_quirks virtio libcrc32c br_netfilter bridge stp llc [last unloaded: AliSecNetFlt64]
  [8837401.130281] CPU: 0 PID: 163944 Comm: kworker/0:1H Kdump: loaded Tainted: G           OE  ------------ T 3.10.0-1160.80.1.el7.x86_64 #1
  [8837401.133029] Hardware name: Alibaba Cloud Alibaba Cloud ECS, BIOS 8a46cfe 04/01/2014
  [8837401.134621] Workqueue: kblockd blk_mq_timeout_work
  [8837401.135916] task: ffff88258a0b6300 ti: ffff8820c2b9c000 task.ti: ffff8820c2b9c000
  [8837401.137422] RIP: 0010:[<ffffffffae575638>]  [<ffffffffae575638>] blk_mq_rq_timed_out+0x18/0xa0
  [8837401.139091] RSP: 0018:ffff8820c2b9fd18  EFLAGS: 00010246
  [8837401.140371] RAX: 0000000000000000 RBX: ffff8819b6ad0000 RCX: 0000000000000000
  [8837401.141838] RDX: 0000000000000000 RSI: 0000000000000000 RDI: ffff8819b6ad0000
  [8837401.143314] RBP: ffff8820c2b9fd20 R08: 000000030ec11230 R09: df98ad67960c8828
  [8837401.144732] R10: df98ad67960c8828 R11: ffff8822d9e17f00 R12: ffff8819b6863240
  [8837401.146161] R13: 0000000000000002 R14: 0000000000000020 R15: 0000000000000002
  [8837401.147605] FS:  0000000000000000(0000) GS:ffff8829bfc00000(0000) knlGS:0000000000000000
  [8837401.149177] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
  [8837401.150426] CR2: 00000000000000d0 CR3: 00000003e570a000 CR4: 00000000003606f0
  [8837401.151844] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
  [8837401.153287] DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
  [8837401.154667] Call Trace:
  [8837401.155579]  [<ffffffffae57572c>] blk_mq_check_expired+0x6c/0x80
  [8837401.157057]  [<ffffffffae578dac>] bt_iter+0x5c/0x70
  [8837401.158357]  [<ffffffffae57984b>] blk_mq_queue_tag_busy_iter+0x13b/0x320
  [8837401.159675]  [<ffffffffae2e84c9>] ? pick_next_entity+0xa9/0x190
  [8837401.160968]  [<ffffffffae5756c0>] ? blk_mq_rq_timed_out+0xa0/0xa0
  [8837401.162414]  [<ffffffffae5756c0>] ? blk_mq_rq_timed_out+0xa0/0xa0
  [8837401.163748]  [<ffffffffae57428b>] blk_mq_timeout_work+0x8b/0x180
  [8837401.165062]  [<ffffffffae2c319f>] process_one_work+0x17f/0x440
  [8837401.166329]  [<ffffffffae2c42e6>] worker_thread+0x126/00
  [8837401.167541]  [<ffffffffae2c41c0>] ? manage_workers.isra.26+0x2b0/0x2b0
  [8837401.169048]  [<ffffffffae2cb4d1>] kthread+0xd1/0xe0
  [8837401.170311]  [<ffffffffae2cb400>] ? insert_kthread_work+0x40/0x40
  [8837401.171514]  [<ffffffffae9c51f7>] ret_from_fork_nospec_begin+0x21/0x21
  [8837401.172861]  [<ffffffffae2cb400>] ? insert_kthread_work+0x40/0x40
  [8837401.174091] Code: 83 84 c6 80 00 00 00 01 e8 f6 fe ff ff 5d c3 cc cc cc cc 0f 1f 44 00 00 55 48 89 e5 53 48 8b 57 58 48 8b 47 38 48 89 fb 83 e2 02 <48> 8b 80 d0 00 00 00 74 4c 48 83 78 10 00 74 50 48 ba 00 00 00 
  [8837401.178255] RIP  [<ffffffffae575638>] blk_mq_rq_timed_out+0x18/0xa0
  [8837401.179436]  RSP <ffff8820c2b9fd18>
  [8837401.180300] CR2: 00000000000000d0

• 问题原因

  操作系统内核版本Bug：程序访问了空指针，触发内存访问错误，从而导致实例崩溃宕机。BUG详情

• 解决方案

  将操作系统内核升级到kernel-3.10.0-1160.88.1.el7以上版本。具体操作，请参见升级Linux ECS实例内核。

  重要

  在操作前，建议您为ECS实例创建快照备份数据，避免因误操作造成的数据丢失。创建快照的具体操作，请参见创建一个云盘快照。