[Linux] gdb로 core dump 파일 디버깅하는 방법(feat. load core dump)

💡 본 문서는 'gdb로 core dump 파일 분석하는 방법'에 대해 정리해놓은 글입니다.
열심히 키워놓은 프로그램이 어느 날 갑자기 죽거나 hang 걸리며 뻗어버리는 모습을 볼 때가 있습니다. 일반적으로 운영 로그/에러는 직접 logger를 만들어 따로 잘 저장해두겠지만 미처 고려하지 못한(생각보다 low한) 부분에선 바로 원인을 파악하기가 힘듭니다. 따라서 프로그램 실행 시 core dump를 남기게 설정한다면, 프로그램이 돌연사했을 때 특정 시점의 메모리 상태를 알 수 있어 이슈파악에 유용합니다. 이에 대한 설정 방법과 gdb를 이용한 디버깅 방법도 정리해두었으니 참고 부탁드립니다.

1. core 파일 다루기

core dump 파일은 ELF 형식(실행, 오브젝트, 공유라이브러리, '코어덤프'를 위한 표준 파일 형식)으로 x86 기반 유닉스 시스템들의 표준 바이너리 파일 형식입니다.

• 자세한 내용은 [Linux] Executable and Linkable Format(ELF): 실행 및 링킹 파일 포맷 를 참고하시기 바랍니다. 

1.1 core 파일 생성하기 (재부팅 시 초기화)

1) 디버깅 core 파일 생성하고 싶은 실행 파일이 있는 폴더로 이동하기

2) ulimit -a 로 core file size 확인하기

$ ulimit -a 
... 
-c: core file size (blocks) 	0 
...

3) core file size 가 0으로 되어 있다면? unlimited로 설정하기(kb 단위의 size를 지정해두어도 됩니다)

$ ulimit -c unlimited

4) 다시 ulimit -a 로 core file size 확인하기

$ ulimit -a 
... 
-c: core file size (blocks) 	unlimited 
...

1.2 core 파일 생성하기 (영구적)

1) /etc/security/limits.conf 파일에 설정하기 (root soft core unlimited 추가하기)

$ nano /etc/security/limits.conf

2)  /etc/security/limits.conf 파일에 설정 확인하기

$ cat  /etc/security/limits.conf  | grep core | grep -v ^#
root             soft    core            unlimited

3) /etc/profile 파일에 core file size를 0으로 초기화하는 설정 주석처리하기

$ nano /etc/profile
...
#ulimit -S -c 0 > /dev/null 2>&1
...

4) /etc/profile 파일 확인하기

$ cat /etc/profile | grep ulimit
#ulimit -S -c 0 > /dev/null 2>&1

1.3 core dump 파일 확인하기

만약 프로그램이 여러 개가 돌고 있는 환경이라면 특정 dump가 어떤 프로그램이 만든 것인지 확인이 필요합니다.

file <core dump file>

• /proc/sys/kekrnel/core_pattern 에서 정의된 형태로 만들어집니다.
  • %p: pid
  • %u: uid
  • %g: gid
  • %s: signal number
  • %t: dump time (unix)
  • %h: host name
  • %e: process

2. gdb로 core dump 파일 분석하기

아래와 같이 gdb로 접근하여 core dump 파일로부터 콜스텍을 추적하여 프로그램이 비정상 종료된 원인을 찾을 수 있습니다.

gdb <process> <core dump file>

2.1 call stack & backtrace

(gdb) bt
(gdb) bt full

• bt는 core dump 발생 직전의 call stack을 확인할 수 있으며, bt full은 전체 call stack 정보를 자세히 확인가능
• stack은 실행중인 함수 정보를 표기하며 이를 frame이라 함

2.2 stack 소스 코드 확인

(gdb) list

2.3 의심되는 stack frame 분석

(gdb) f <frame name>
(gdb) info frame
(gdb) info frame <frame name>

• info frame은 각 frame의 보다 상세한 정보 제공
  • stack frame at 0x: 해당 함수의 sp
  • called by frame at 0x: 해당 함수를 호출한 함수의 sp (e.g. main)
  • Arglist at 0x: 해당 함수가 호풀하는 함수의 bp
  • args: 인자 정보
  • Saved registers: rip, ebp...

2.4 해당 stack의 argument/local value 확인

(gdb) info arg
(gdb) info local

• info frame 보다 간결하지만 인간친화적
  • arg: stack의 argment 확인
  • local: stack의 수행 당시 변수 값 확인

 

참고

• [gdb] stack frame 해석하기: http://dooeui.blogspot.com/2013/09/stack-frame.html
• [System] core dump 분석을 위한 gdb 사용법 간단 정리: https://incredible-larva.tistory.com/entry/core-dump-%EB%B6%84%EC%84%9D%EC%9D%84-%EC%9C%84%ED%95%9C-gdb-%EA%B0%84%EB%8B%A8-%EC%A0%95%EB%A6%AC
• [Linux] ulimit로 core file 생성 설정: https://sh-safer.tistory.com/173