분산 학습 클러스터 — HyperPod vs ParallelCluster vs EKS
· 17 min read
해당 포스팅은 현재 재직중인 회사에 관련이 없고, 개인 역량 개발을 위한 스터디 자료로 활용할 예정입니다.
시리즈의 마지막 편이다. 지금까지 분산 학습의 내용들을 정리해봤다.
그런데 마지막 질문이 남는다.
"이 많은 노드를 어떻게 하나의 학습 잡으로 묶어서 돌리지?"
노드 수십 대에 일일이 SSH로 들어가 EFA를 켜고 FSx를 마운트하고 mpirun을 칠 수는 없다. 프로비저닝·스케줄링·장애 복구를 대신 해주는 오케스트레이션 계층이 필요하다. 이 글에서는 AWS의 세 가지 방식을 비교한다.