[하루 정리] 22.10.05. 시연 10분 전, 루트 디렉토리를 모두 날려먹다... (feat. 1년차 시말서)

Abstract

시연 10분 전, 루트 디렉토리를 모두 날려먹다...

Detail

최근에는 모듈 개발은 다 끝나고 시나리오별 테스트를 하고 있어서, 오늘도 어김없이 테스트를 하며 증적을 뜨고 결과에 문제가 있으면 디버깅을 하는 단순 작업을 하고 있었다. 그러다 우리 팀에서 개발한 Management Console로 시연할 일이 있다고 해서 관련 메시지 수신 및 탐지를 위한 모듈이 정상적으로 동작중인지 확인하는 과정에서 log 파일의 위치가 잘 못 되어 있다는 것을 발견했다.

문제상황: log 파일의 위치가 문제인 이유는 CentOS 특성상 root와 home의 파티션을 분할하여 메모리를 따로 관리하는데, 초기의 세팅 문제로 root에 용량을 너무 적게 두어 현재 home 디렉토리 밑에 로그 파일들을 관리해야하는 상황이다.

사실 log 파일의 위치가 다른건 데모를 하는데 아무런 영향을 끼치지 않는다. 하지만 할 일이 그닥 많지 않았기에 이정도는 수정해놓자...라는 생각에 log 파일의 위치를 원하는 위치로 변경해두고 기존에 생성되어 있던 log 파일도 옮겨야 겠다는 생각에 mv 명령어를 사용하여 원하는 위치로 변경했다. 명령어는 다음과 같았다.

sudo mv /opt/<company>/logs/ /home/logs/

이때까지만 해도 문제는 발생하지 않았다. mv 명령어를 활용하여 옮긴 파일을 확인해보니 폴더 전체가 이동된 것을 확인할 수 있었다. 쉽게 설명하자면 /home/logs/logs 내부에 파일들을 가지고 있었다. 아 이런... 다시 옮겨놔야겠군 하고 다음의 명령어를 입력한 게 문제가 되었다.

$ cd /home/logs/logs
$ sudo mv /* ../

 

./를 한다는 것을 /를 해버려서 루트에 있는 폴더들이 이동해버렸다....(사실 정확한 명령과 상황이 기억이 나지 않는다. 너무 다급한 나머지 띄워져있던 터미널까지 종료해버려서...)

그리고 (당연하게) 문제가 발생했다. ls 명령어로 파일들이 잘 들어갔나 확인하려는데, 갑자기 bin/ls를 찾을 수 없다고 한다.... 이때까지만 해도 잘 몰랐는데, cp나 mv로 원상복귀하려고 해도 찾을 수 없다고 한다.... 허허.. 너무 당황한 나머지 터미널을 다시 실행해볼까? 했는데 터미널이 안켜지고 ssh 로 다시 접속하려고 해도 안되고... 이미 서버에 접속해있던 터미널은 모두 꺼버린 상태였다.

다행이도 문제 상황이 터지고 바로 시니어 엔지니어 분께 설명했더니 당장 시연이 10분 남았다고 하셨다. 뭘 해야할지 패닉상태에 빠졌다. 마음을 가다듬고 모듈이 정상동작하고 있는지 확인해봤더니 다행이도 모듈 자체는 정상동작하고 있었다. 안되면 dev에 동일한 환경을 만드려고 했는데, 그러면 10분 안에 환경을 만들 수 없었기에 정말 큰일이 나는 상황이었다(정말 이런 상황이 처음이다보니 회사를 짤리는 줄 알았다...).

일단 시연은 마무리가 되고 위 상황을 해결해보려 하였으나 잘 안됐다. 리눅스 내부는 잘 모르겠지만 cd, pwd 등의 명령은 사용할 수 있어서 루트를 어디로 옮겼는지는 바로 찾았으나, 해당 위치에 bin 디렉토리만 없었다. 왜지..? /opt, /home, /etc 등 bin 빼고는 다 있었다. 정말 알다가도 모르겠다.

일단 당장 모레 연동 테스트가 있기에 그 전까지 서버를 복구해놔야해서 OS를 다시 깔고 세팅하기로 해서 일단락하였으나, 정말 식겁한 상황이었고 식은땀과 패닉상태로 미치는 줄 알았다. 이를 알아보시고는 부소장님께서는 그럴 수 있는 상황이라면서 사내 네트워크를 다 끊어버렸던 경험을 얘기해주셨고, 부장님께서도 실제 운용중이었던 DB를 다 날려버렸던 경험을 얘기해주셨다. 그러면서 시연이어서 다행이지 정말 운용중이었다면... 그 다음은 열린결말로 말을 흐리셨다. 만약 정말 운용중이었다면? 상상조차 하기 싫다....

"앞으로는 커멘드 하나하나를 정성스레 검토하며 타이핑해야겠다."