추석연휴에 DB서버 장애처리..ㅠ.ㅠ (오라클 S7-2L 서버에 Seagate 스토리지, 오라클 DB)

추석 연휴에 다들 즐겁게 보내셨습니까? 오늘이 금요일이라 다들 연휴 후유증은 어느정도 치료되셨을거 같네요...

​

저는 10월 4일 밤 10시쯤 고객에게 카톡을 받았습니다. 홈페이지 및 웹관련 페이지들이 하나도 안뜬다고..ㅠ.ㅠ

여기저기 체크해 보니, DB서버의 Down 이 의심됩니다..ㅠㅠ

​

다음날 담당자 께서 사진을 보내주셨는데, DB서버 스토리지가 맛이 갔습니다..

제 가장큰 실수 이기도 하고, 업체는 정말 잘 선별해야 된다는 교훈을 안겨준 스토리지 죠.. 납품가격의 압박으로 선택한 닷힐.. 현재의 씨게이트 스토리지 입니다. 여러 고객분들은 저를 반면교사 삼아서, 절대 씨게이트 스토리지는 자제해 주시길~~ 파트를 구할수가 없습니다. 예전에는 SUN 스토리지가 그나마 쓸만했는데, 오라클로 인수된후 가격이 너무 사악해졌습니다. 고객분들은 유닉스 장비에도 IBM 이나 HPE 스토리지를 구매하세요~~ 오라클 스토리지를 그 가격에 굳이 쓸 필요가 있을까 합니다. 나중에 유지보수비용도 파트수급도 쉽지 않거든요..

씨게이트 스토리지

AI 활용

 

​

​

어쨋든 장비상태가 정상이 아닌건 확인지 됐는데, 고속버스도, 기차도 전부 매진이라 내려갈수도 없고, 무엇보다 추석연휴에 대체스토리지를 수급해야 되는데, 정말 난감합니다.. 왜 하필 추석 이때에...ㅠ.ㅠ

​

일단 고객께 하루의 시간을 양해 드리고, 결국 업체수급해서 대체 스토리지를 가지고 새벽에 출발합니다.ㅎㅎ 전화를 받는순간은 정말 짜증이 났지만, 전 내려가면서 기분이 좋습니다.. 제가 워커홀릭이고, 얼른해결해서, 고객이 즐거워한다면, 정말 보람차거든요.. 요즘시대에는 꼰대같은 소리겠지만, 전 밤새서 작업이나 장애처리후, 새벽이 밝아올때 기분이 너무 좋습니다. 빨리해결해서 타인이 즐거워하고, 고객과 같이 동틀녁에 담배한대 피고 있으면, 정말 뿌듯하고 성취감을 느낍니다.

​

새벽출발

AI 활용

 

​

하필 새벽에 비까지 오네요..ㅠ.ㅠ 같이 일할 엔지니어도 태우고, 출발해야 되는데, 새벽에나 도착하겠네요...

​

​

새벽에 도착해서 결국은 찜질방에서 잠깐시간 때우고 있습니다. 400키로 넘게 논스톱으로 운전했더니, 많이 피곤하네요.. 아직도 항암치료받고 있는 암환자인데.. ㅎㅎ 그래도 추석연휴에 하루만에 장비수급해서 내려가니, 내일 대체스토리지가 잘붙을지 걱정이 되서, 거의 뜬눈으로 밤샛네요

찜질방

​

​정말 다행이도 진짜 깨끗한 찜질방을 찾았습니다. 진주가 유등축제라서 가격이 사악한게 문제인데(1인당 25,000 원)

그래도 유등축제 기간이 끝나면 가격이 사악할것 같진 않습니다. 주차도 너무 편하고요

 

어뮤즈(AMUSE) 스파 진주

영업시간 : 월요일 ~ 일요일 06:00시 ~ 23시:00분

휴뮤일 : 매달 5번째 화요일 정기 휴무

주차 : 매장 지하주차장

 

 

드디어 뜬눈으로 밤을 새우다시피 하고, 9시에 바로 장애처리하러 출발했습니다.

​

도착해서 보니, 역시 마운트된 디렉토리가 보이기는 하는데, 읽기 쓰기를 해도 반응이 없네요...ㅠㅠ 로그를 보니, 레이드가 깨져버렸네요..스페어디스크까지 뒀는데, 일단 만일의 사고를 대비하여, DB 부터 백업을 받고, 또 2군데 copy 까지 하고 작업을 시작합니다.

​

볼륨자체가 깨지는 경우가 흔하지 않은데(엔지니어 생활 25년 동안 두번째 봅니다..ㅠ.ㅠ), 컨트롤러도 에러가 나서, 가져간 대체 스토리지로 교체하고 연결했는데, 다행이 에러 몇번 겪고, 스토리지가 붙었습니다.(오라클 솔라리스(solaris 11)에 hpe 스토리지를 붙여본 업체가 없어서 내심 걱정했는데..다행이도 ㅎㅎ)

​

스토리지 붙이고 다시 디렉토리 마운트 시키고(ZFS 파일시스템으로 마운트, 저희쪽 작업은 잘 끝났습니다. 이제 소프트웨어 업체에서 필요한 사항 복구하라고, 파일시스템 백업받았던, 위치나 파일들 알려주고 저희는 드디어 철수 합니다. ㅎㅎ 아침 9시에 들어갔는데, 5시전에 끝나서 정말 다행입니다.

​

고객께서 나중에 연락주셨는데, 소프트웨어 업체도 원격으로 열씸히 작업해 주어서, 스토리지, DB복구, 소프트웨어 업체 복구가 하루도 안되서 모두 끝났습니다. 추석연휴에 짜증도 났었지만, 작업마무리 되니, 뿌듯하고 기분이 좋습니다.

​

사실 저 스토리지를 납품한건, 제 판단이어서 고객께 죄송하기도 하구요, 한편으론 스토리지 업체를 믿고 구매해서 납품했는데, 파트를 못구한다니, 뒷통수 맞은 느낌입니다. 참 사명감도 책임감도 없는 업체걸 구매해서, 고객께 피해를 준게 아닌가 싶어서 고객께 죄송하기도 하구요, 제가 완벽주의 인데, 이번일을 교훈삼아서, 업체선정에 최선을 다해야 겠습니다. 거래하다 보면 업체의 크고 작은건 문제가 되지 않습니다. 영업하는 사람의 마인드가 제일 중요하죠..

​

ZFS 구성중

 

 

 

 

 

스토리지 서버 점검

​

다 마치고 올라가는길 집까지 9시간 20분 ㅎㄷㄷ, 귀성길과 또 겹치네요... 그래도 마음은 너무 가볍고 즐겁습니다. 사이트 팀장님도 빨라야 9일부터 장애처리 시작할거라고 생각하셨는데, 6일에 모든게 정상으로 돌아와서, 모두들 즐거워하네요...이런맛으로 엔지니어 생활합니다 ㅎㅎ

​

와이프는 항암중인 암환자라 따라갈까 하고, 걱정도 많았지만, 이런기분이면 암도 나을것 같습니다..ㅎㅎ 올라가는 9시간이 지루하지 않습니다.

​

​

이글을 보시는 IT 담당자분들은 꼭 백업 잘 받으세요, 언젠간 사고가 나거든요, 이번 국정자원관리원 화재를 봐도, 사고는 언젠가 한번은 납니다. 개인들도 외장하드로 백업 잘 받으시고요, 의외로 개인들도 랜섬웨어 걸리는 경우가 많습니다.

​

이제, 항암도 막바지를 향해가고, 사세확장을 위해 잠시 오픈했다가 암진단으로 다시 닫은 네이버 스마트 스토어를 다시 시작하려고 합니다. 나스 및 하드디스크 시장이 정리가 안되서인지 유통질서도 너무 dog판이고, 마진도 팔고 싶지 않을정도로 작지만, 열씸히 일단 해보려고 합니다.

​

그럼 다들 건강조심하시고, 건강검진은 꼭 늦지 않게 받으세요~~