[인프라] EC2 용량 부족 문제 해결 - docker overlay2

잘 돌아가던 Build가 갑자기 안되기 시작했다.

핵심 에러는 no space left on device 이 부분인 것 같은데... 검색 해보니 용량 부족 문제라는데...

지금 EC2로 돌리고 있는 것들은 크게 아래와 같다.

 

1. nginx

2. docker

3. docker 컨테이너 - jenkins

4. docker 컨테이너 - .jar (spring boot)

5. certbot

 

t3-small에서 t3-medium으로 용량 때문에 변경 하였고, 이미지 파일도 switch.sh 파일에 새로운 컨테이너 생성 후 삭제 되게 끔 스크립트도 작성하였는데 용량 부족이라니!

 

현재 EC2의 용량을 상세히 확인 하기 위해 아래의 명령어를 사용했다.

df -h

/dev/root 가 7.6G 인데.. 100% 사용 중

 

어느 폴더에서 용량을 차지하는지 확인하기 위해 아래의 명령어를 사용했다.

du -sh /*

[경로]* : 해당 경로의 하위 폴더 용량 모두 확인

-h 옵션 : 마운트 된 스토리지에 대해 사용량을 자세히 보여줌 

 

 

우선, 어딘지 확인이 어려우니 / 루트 경로에서 명령어를 실행 해보았다.

/var 에서 7.1G 차지, 총 7.6G인데 5G를 제외한 나머지가 다 /var에서 실행되고 있는것이다.

동일한 방법으로 하위 폴더까지 확인해보았다.

 

 

최종 /var/lib/docker/overlay2 에서 제일 많은 용량을 차지하고 있다는것을 알게되었다.

 

💡 overlay?
우분투와 같은 데비안 계열 운영체제에서 사용하는 레이어 파일 시스템. 컨테이너의 스토리지를 제한하기위해 Docker Engine의 자제 기능을 이용하지 않고 Storage의 도움이 필요한데, 이때 사용하는 파일 시스템이 Overlay2이다.

 

https://velog.io/@newdana01/EC2-%EB%94%94%EC%8A%A4%ED%81%AC-%EC%9A%A9%EB%9F%89-%EB%B6%80%EC%A1%B1-%EC%9B%90%EC%9D%B8-%ED%8C%8C%EC%95%85%ED%95%98%EA%B8%B0-feat.-dockeroverlay2

[Docker]도커 레이어 용량 차지 문제 해결(feat. docker/overlay2)

 

위는 삭제 후 overlay2 폴더다.

캡쳐를 못 했는데 원래 이것보다 훨 씬 많았음...

 

 

https://uiandwe.tistory.com/1313

 

도커 이미지에서 레이어는 개념적으로 각각의 파일 시스템을 겹쳐 놓은 형태와 유사하다.

즉, 하나의 이미지가 많은 layers들로 이루어져있는것

 

용량을 확보하기 위해 현재 사용 중인 컨테이너와 이미지를 제외한 미사용 이미지, 컨테이너, 네트워크들을 삭제하는 명령어로 용량을 확보해보자.

 

docker system prune -a

 

다시 df -h 명령어로 용량을 확인해보니

 

 

7.6G 100% 에서 4.0G 52% 까지 줄어들었다..!!

 

 

빌드도 정상적으로 동작 💪

 

 

빌드 후 얼마나 용량이 쌓이는지 확인해보니.. 한번 빌드될때 2% 씩 쌓이는..

주기적으로 불필요한 레이어드 이미지를 삭제하여 용량을 확보해야할 것같다.

 

 

📌 root 계정에서 df -h 명령어를 사용하면 더 자세한 용량을 확인할 수 있음

 

 

📌 참고블로그

https://uiandwe.tistory.com/1313

로그가 서버를 죽이러 왔다.

 

📌 자주 사용하는 리눅스 명령어

• shift + v + g (전체선택)
• y    (전체 복사)
• d    (전체 삭제)
• dd    (한줄만 삭제)
• gg    (맨 위 첫줄로 이동)