AIX 백업 그리고 속도문제..

 

 

저희 사이트에 작년 가을에 백업 솔루션을 도입하게 되었습니다. 그동안 BACKUP 없이 잘도 운영하고 있었죠..

 

데이터를 날려먹어 유료로 복구도 하고 최근엔 최근 이틀 치의 DATA를 복구 못하여 문제도 있었습니다. 어딜 가나 그런 것 같아요.. IT가 메인 회사가 아닌 곳에서 일하시는 전산직 직원들은 환경이 너무 열악하다는 것을요..

 

 

우여곡절 끝에 솔루션을 도입하여 백업 적용을 하고 있는데 사실 제안한 것처럼의 빠른 속도가 나오질 않습니다.

 

여러 가지 문제가 있을 수 있겠죠.. 최대한 이해하고 납득하려 하였지만

 

동일한 구성을 하여 운영 중인 AIX 서 버 2대(CPU/메모리/디스크/설정 모두 같음 )에서 같은 경로에 있는 파일을 받는데

 

한쪽은.. 300MB/s 다른 한 쪽은 20MB/s 이렇게 나오는 것입니다. SAN(8Gbit)으로 구성되어있습니다.

 

 

15배 차이가 나는 것입니다. 1시간을 다운로드해야 하는 파일이라면 다른 한 쪽에선 15시간 걸린다는 것인데 말이 안 됩니다.

 

물론 1시간이나 걸려 다운로드해야 하는 파일은 없겠지만 그래도 500GB 정도됩니다. 계산대로면 7~8시간은 걸리겠네요..

 

더욱 해결을 힘들게 하는 것은 항상 속도가 20MB가 나오는 게 아니라는 것입니다. 느렸다 빨랐다 합니다.

 

 

 

 

 

사이즈가 큰 파일은 ORACLE EXPORT 파일입니다.  백업솔루션에서 RMAN은 직접 받아 갈 수 있는데 다른 것은 안돼서 이렇게 파일을 서버에 만들어놓은 후 가져가야 하는 것입니다.

 

 

좀처럼 해결이 되지 않아서 업체에서 컨설트도 받아보고.. 딱히 문제점을 발견하지 못했습니다. 말로는 무슨 이야기도 쉽게 할 수 있잖아요 서버 튜닝에 대한 원론적인 이야기만 늘어놓고 갔습니다. 사실 그런 말은 저도 할 수 있습니다.

 

 

근데 이런 문제가 발생하는 시점을 파악해서 살펴보니.. 새벽에 서버에서 EXPORT-BACKUP이 한번 돌아간 이후 솔루션에서 처음 데이터를 가져갈 때 문제가 생기는 것입니다. 두 번, 세 번째 가져갈 때는 정상 속도가 나오는데 말이죠.

 

 

 

결론이 났습니다. MEMORY가 부족해서입니다. 아무리 SERVER가 고사양이라 해도 램을 500G 1000G 이렇게 장착할 수 없으니 저희 사이트에서 500기가짜리 덤프 파일을 생성하는데 메모리가 부족했던 모양인 거죠.. (그래도 178G인데.. )

 

이해가 안 되는 것은 이 작업을 할 때 이렇게 많은 MEMORY를 사용해야 하는가 인 것입니다. 메모리가 부족하다보니 일단 올라와 있는 자주 사용했었던 영역을 지우고 온통 백업파일에 대한 정보로 가득 채운 것입니다. 그러니 장비에서 1회 백업시 속도가 느렸다가 2회 3회시엔 정상 속도가 나오는 것입니다.

 

 

AIX에서 마운트 포인트에 대한 기본 설정은 우선 메모리에 읽고 쓰는 것이라고 합니다. 하드디스크 버퍼처럼 말이죠.. 그래서 빈번한 작업 시 빠른 성능을 기대할 수 있다는 것입니다.

 

하지만.. 용량이 무척 큰 백업파일 생성 시 그럴 이유가 전혀 없습니다.

 

 

해결책이 있습니다. AIX 튜닝 기술문서에 관련 내용이 있습니다. 마운트 옵션에 rbrw를 지정해주면.. 메모리를 사용하지 않고 직접 하드디스에 기록할 수 있다고 합니다.

 

설정을 변경하고 며칠 지났더니 저희 사이트에 약 20%내외의 free-memory가 생겼습니다.

 

 

/dev/backuplv에 보시는 것처럼 rbrw,rw 옵션을 넣었습니다. 

 

 

 

조금만 저에게 이런 지식이 있었으면 몇개월동안 헤메지 않았을텐데.. 그래도 지금이라도 문제가 해결되어 다행입니다.

 

사실 속도가 20메가 나오는 영역은.. backup이 아니라 /home에 들어있는 프로그램 소스 디렉터리입니다.  약 10기가 내외의 파일이 있고요 장비에서 백업할 때 한쪽은 2분 걸렸고 다른 한쪽에선 20~25분 걸렸거든요

 

 

문제가 해결되기 전엔.. 자주 사용했었던 파일들이 메모리 영역에 올라와 있는 있지 않으니 매일 아침 첫 백업시 속도 저하 문제가 발생한 것으로 해석이 됩니다. 지금은 190~300MB를 왔다 갔다 합니다. 아마 이런 속도 갭이 발생하는 이유는 업무용 파일이 조금씩 변경되다 보니 변경사항이 많은 경우 좀 느리고 그렇지 않으면 속도가 좀 더 나오는 게 아닌가 생각합니다.

 

혹시 저 처럼 비슷한 문제로 고민하시는 분들 계시다면 조금이나마 도움이 되었으면 좋겠네요~