천재지변

친구의 함을 팔러 마산에 다녀온 일요일 저녁. 금요일에서 월요일로 연기된 릴리즈 때문에 출근해서 고생하고 있을 팀 사람들 동향을 파악하기 위해 집에 와서 바로 회사 메일을 확인하려고 하니 service unavailable이 떴다. 서버가 죽지는 않았는데 메일은 안되는 상황. 바로 터미널로 접속을 해 보니 뭔가 디스크에 쓰기가 안된다는 에러메시지와 함께 mailbox store가 unmount되어 있었다. 뭔가 심상치 않음을 감지하고 바로 출동.

RAID 5로 잡혀 있던 4개의 디스크 중 2개에 빨간불이 들어와 있었다. 금요일까지도 멀쩡했던게 이럴 수가 있나. hot spare가 있던 것도 아니라서 이런 경우 절대 복구 불가능이지만 밑져야 본전 생각으로 리부팅을 시키고 RAID바이오스가 disable시킨 논리디스크를 (데이터 손상을 감수하고) 다시 enable했더니 2시간 남짓 chkdsk를 하더니 용케 부팅이 된다. 디스크의 빨간불도 꺼진걸 보니 아마도 RAID가 풀린 상황인듯.

그러나 이미 dirty shutdown된 사서함은 마운트가 안되고.. 여기서 그날 1시에 자동수행된 백업에서 복원을 하느냐 아니면 eseutil로 데이터베이스 파일을 복구한 다음에 마운트를 하느냐를 놓고 한참 고민하다가 메일박스 DB파일 복구를 선택.

DB파일은 50GB가 좀 넘는 크기였고 eseutil /p를 했더니 의외로 빨리 진행되고 있어서 다행이라고 생각하고 있었는데, 마지막 단계 deleting unicode fixup table이란 곳에서 진행을 멈춰 버렸다. 그렇다고 프로세스가 멈춘 것은 아니고 하드디스크만 열라 돌아가는 상태였는데 메모리 사용량을 보니 이미 메모리를 다 쓰고 페이징파일도 최대 크기로 해서 열라 디스크만 긁고 있는 상태였던 것. 2% 진행되는 데 2시간이 넘게 걸리는 것을 보고 막 뒤져보다가 결국 ctrl-c를 누르고 말았다. -_-

여전히 dirty shutdown 상태인 사서함은 마운트 안되고, 백업에서 복원을 시도하여 오전 6시반 현재 3hr elasped. 추이로 봐서는 앞으로 1.5시간 정도 더 있으면 복원이 완료될 것 같다. 처음부터 그냥 백업해둔 걸 돌릴걸.. 제발 이대로 무사히 복원이 끝나고 무사히 메일박스가 마운트되고 무사히 오래 살았으면 좋겠다.


RAID가 풀리다니 이런 무슨 천재지변급 장애가 왜 하필 나에게.. -_- 바쁜 와중에도 이런 저런 생각들이 자주 드는 요즘 더욱 심란해지고 있다. 인생 참 험난하다.