인프라를 어떤 클라우드 벤더로 구축해야할까? (GCP와 AWS)

 

 

개인적으로 찾아보며 정리한 내용이고 주관적인 생각이 들어있어
오류 사항이나 더 좋은 피드백은 언제나 환영합니다..!

 

 

 

진행 중인 프로젝트에서 백엔드 서버는 아직 배포되지 않은 상태이고 백엔드팀 (2명) 모두 AWS로 인프라 구축을 진행해왔기에 AWS에 굉장히 익숙한 상황이라 자연스럽게 AWS로 전체 인프라를 구축하기로 예정되어 있는 상황이다

현재는 사용자의 요청(사용자의 보이스)이 들어오면 인공지능 모델을 통해 보이스팩을 만들어 S3(스토리지)에 저장해주는 로직을 구현중에 있다

그러던중 새로운 방식의 도입에 대해 고민해보게되는데...

 

GCP Cloud Run 을 사용하자

 

GCP Cloud Run을 생각하게된 결론부터 말하자면 GPU 서버리스를 지원하기 때문이다.

 

서버리스를 사용하자

 

인프라 관리 부담 최소화

 

보이스팩 생성 작업은 일정한 트래픽을 유지하는게 아니라 사용자가 요청할 때만 실행되는 작업이라는점

 

=> 이 경우 굳이 EC2, VM과 같은 관리형 인프라를 유지할 필요가 없다고 생각

 

비용 절감

 

위에서도 말했지만 GPU 인스턴스를 항상 띄워놓는 것 보다 요청 시에만 실행하는 서버리스가 비용적으로 더 유리하다고 생각

 

그럼 Lambda, Cloud Run, ... 어떤걸 선택해야할까?

 

 

우선 AWS Lambda의 경우 GPU 지원이 없음

=> AI팀에게 CPU만 써도 되는 모델들이 있다고 전달받긴 했는데 그럴 경우 속도가 너무 느리다하여 GPU지원이 1순위일 것 같음

(아직 프로젝트 초기 단계라 추후 변동 가능성이 있음)

 

그렇다면 서버리스라는 선택지 속에서 고려중인 클라우드 벤더들중 생각해볼 수 있는 것들은 2개 정도인데

간략하게 보면

 

1. GCP - Cloud Run

 

• GPU 인스턴스를 요청 시에만(사용자 요청 시에만) 사용하므로 비용이 절감
  
  
• 서버리스 구조이기에 전체 인프라를 항상 운영하는 것 보다 관리의 부담이 줄어듬
  
  
• 오토 스케일링 가능하고 요청에 대한 응답 속도가 빠름

 

2. AWS - SageMaker Asynchronous Inference

 

• 서버리스에 가깝게(?) 운영할 수 있음
  (사용량 기반 과금이지만 최소한의 리소스를 유지해야 하므로 추가 비용이 발생할 수 있음)
  
  
  • 모델 파일 저장(S3에) 및 요청당 아웃바운드 트래픽 (결과를 사용자에게 전송할 때) 비용 발생
    
    
• 오토 스케일링 가능

 

이고

 

1. 완전한 서버리스

 

GCP Cloud Run은 요청이 있을 때만 컨테이너가 실행되므로 불필요한 비용이 발생하지 않고

SageMaker Asynchronous Inference는 결국 SageMaker가 항상 실행되어야 하므로 고정 비용이 발생함

 

 

2. 비용 효율성

 

현재 기준으로 찾아본 결과 

 

Cloud Run은 요청 사용량 기반으로 시간당 $0.35 (NVIDIA T4 GPU 기준)

SageMaker Asynchronous Inference는 시간당 $0.526 (ml.g4dn.xlarge 기준)

 

이지만..

SageMaker Asynchronous Inference는 S3 비용 및 결과 반환 시 아웃바운드 트래픽 비용 

 

 

3. 유연한 확장성

 

Cloud Run은 요청이 증가하면 자동으로 인스턴스를 확장하고, 요청이 없으면 완전히 종료함
(스케일링 빠름)

SageMaker Asynchronous Inference는 필요할 때만 실행되지만, 모델을 불러오는 대기 상태의 리소스가 일부 유지되므로 스케일링은 가능하나 요청량이 갑자기 증가할 경우 Cold Start(모델 로드 지연)가 발생할 수 있음

 

 

결론은

 

사용자 요청 기반 AI 모델 실행은 GCP Cloud Run을 사용하는 것이 좋은 선택이라고 생각함!!

 

 

AWS와 GCP... 어떻게 인프라를 구축해야할까?

 

위와 같이 GCP Cloud Run을 통해 모델과 통신을 하는 것으로 결정했고

이제 인프라를 구축해야하기에 어떻게 배포를 진행해야할까에 대해 고민을 해봐야함😭

 

AWS + GCP 멀티클라우드

 

• 장점
  
  
  • 백엔드팀이 AWS에 익숙하므로 운영 및 유지보수가 상대적으로 수월
    (수 많은 레퍼런스들..🙇‍♂️)
    
    
  • S3의 장기 보관 옵션 활용 가능
    
    
  • AWS 인프라에서 모델 요청 부분만 Cloud Run을 활용해 비용 절감
    
    
  • 특정 클라우드 벤더의 종속성을 줄이고 향후 필요에 따라 유연하게 이전 가능
    
    
• 단점
  
  
  • AWS와 GCP 간 연동 및 보안 설정이 필요하기 때문에 인프라 구축이 복잡해짐
    
    
  • AWS에서 GCP로 요청을 보낼 때 트래픽 비용이 발생
    
    
  • 추가적인 API 관리 필요 
    
    • AWS API Gateway -> Lambda -> Cloud Run 으로 요청이 전달되니까 API 호출 복잡해짐
      (서칭 결과 Cloud Run을 '인증 필요' 모드로 설정하고 AWS에서 인증 토큰을 발급받아 바로 요청할 수 있긴함)

 

GCP

 

 

• 장점
  
  
  • AWS와 연동할 필요 없이 GCP 내부에서 모든 작업을 수행하므로 네트워크 비용 절감
    
    
  • API 호출 경로가 단순하여 유지보수 용이
    
    
  • 주요 기능에 필요한 Cloud Run도 GCP 내부에서 모든 요청을 처리하므로 최적화된 성능 제공 가능
    
    
• 단점
  
  
  • 백엔드 팀의 GCP 러닝커브
    
    
  • 기존에 사용하려던 AWS S3의 사용 불가

 

기존의 보이스팩 저장을 생각해놓은 S3의 경우
AI팀이 저장된 보이스팩의 빈번한 접근을 염두해두고있기 때문에(추후 변경 가능성 있음)

AWS S3 Glacier 말고 AWS S3 Standard를 기준으로 GB당 $0.023 
GCP Cloud Storage Coldline 말고 GCP Cloud Storage Standard 기준으로 GB당 $0.020 
(장기 보관의 경우는 AWS S3가 더 저렴한 것으로 나옴)

로 S3를 대체할 수는 있다고 판단

 

 

결론은

 

 

우선 서비스의 메인기능이라고 볼 수 있는 보이스팩 생성 모델을 위주로 접근해보았는데 

 

이와 관련해서 위에서 이야기 했던대로 GCP Cloud Run 사용을 결정한 상황이지만 사실 백엔드팀 모두 GCP를 사용해본 경험이 없기에 이 부분이 가장 걸렸음
주어진 기간(약 3달)을 고려해봤을 때 당연히 AWS를 이용하는게 러닝커브 없이 더 완성도 높은 구축이 가능할 것 같음

=> 만약 GPU없이 CPU로만 보이스팩 생성 부분을 수행할 수 있게된다면 언제든 GPU 서버리스에서 AWS Lambda로 옵션을 변경하여 AWS로 인프라 구축을 하는게 좋은 선택이라고 생각

아직 AI팀도 그렇고 전반적인 프로젝트의 진행도가 초기이기에 요구 사항이 언제든 변경될 가능성이 있고
이에 향후 필요에 따라 유연하게 이전 하기위해 AWS와 GCP의 Cloud Run을 이용한 멀티 클라우드를 도입하는걸로 결정함

 

=> 과금 측면에서는 GCP가 AWS보다 더 좋다고 판단되지만 3개월이란 기간동안 결과물을 보여줘야하는 상황에서는 우선 조금 더 비용을 지불하더라도 서비스 기능 구현(개발 그 자체)에 초점을 맞춘 후 실제 사용자가 이용하는 상황 속에서 판단하여 인프라를 유지보수 하는 것이 더 좋다고 생각함

이 부분에 대해서는 AI팀의 고도화 이후 CPU로만 보이스팩 생성이 가능하다면 AWS로 통일을 하는 방법, GPU가 필수적이라 기존의 Cloud Run을 유지한 상황에서 AWS와 멀티클라우드의 형태로 유지하는 방법, GCP로 인프라를 이전하는 방법등이 있을 수 있음

하지만 실제 사용자가 서비스를 이용하면서 발생하는 과금을 분석해보고 여러 지표들을 바탕으로 효율성도 따져보며 결정해야할 사항이라고 생각함

 

(일단 지금은 한정된 시간동안 서비스 개발에 초점을 맞추고 인프라는 현재 시점에서의 요구사항을 토대로 GCP의 GPU 서버리스를 이용하며 러닝 커브 없이 배포가 가능한 AWS를 함께 이용하는 추후 이전이 용이한 멀티 클라우드 방식을 사용하자!)

 

너무나 당연하게 AWS만 사용해오던 나에게 주어진 상황을 토대로 적절한 방법을 선택하게 고민해볼 수 있는 좋은 경험이었음

새로운 클라우드 벤더의 기능을 사용하는게 큰 도전일 수 있지만 꼭 AWS만 쓰라는 법은 당연히 없으니
한 층 더 성장해보는 경험으로 삼도록 하겠다..!

 

‼️피드백 대환영‼️