AI 산업의 중심축이 대규모 모델 학습(Training)에서 실제 서비스 적용을 위한 추론(Inference)으로 급격히 이동하고 있습니다. 최근 AI 추론 인프라 스타트업인 Modal Labs가 약 25억 달러(한화 약 3.4조 원)의 기업 가치로 투자 유치를 진행 중이라는 소식이 전해졌습니다. 이는 불과 5개월 전 가치인 11억 달러에서 두 배 이상 뛰어오른 수치입니다.
"Modal은 학습된 AI 모델을 실행하여 사용자 요청에 답변을 생성하는 과정인 '추론' 최적화에 집중하고 있습니다. 이를 통해 컴퓨팅 비용을 절감하고 응답 지연 시간(Latency)을 최소화합니다."
1. AI 추론 시장의 가열되는 경쟁
현재 실리콘밸리에서는 Modal Labs뿐만 아니라 Baseten(기업 가치 50억 달러), Fireworks AI(40억 달러) 등 추론 전문 클라우드 기업들에 막대한 자금이 몰리고 있습니다. 또한 오픈소스 프로젝트인 vLLM의 팀이 설립한 Inferact, SGLang 팀의 RadixArk 등 고성능 추론 엔진을 기반으로 한 스타트업들이 차세대 인프라 패권을 두고 격돌하고 있습니다.
2. Modal Labs의 핵심 경쟁력
Modal Labs는 Spotify의 데이터 팀을 이끌었던 Erik Bernhardsson이 설립한 회사로, 개발자 경험(DX)과 인프라 효율성을 동시에 잡았다는 평가를 받습니다. 특히 Python 코드를 작성하듯 간단하게 클라우드 GPU 자원을 할당받고, 수천 개의 컨테이너로 즉각 확장(Scaling)할 수 있는 서버리스 인프라를 제공합니다.
현재 클라우드 아키텍처 관점에서 AI 추론은 다음과 같은 세 가지 핵심 과제를 안고 있습니다:
- Cold Start 문제: GPU 워크로드는 모델 가중치(Weights)의 크기가 크기 때문에 컨테이너 프로비저닝 시 로딩 시간이 발생합니다. Modal은 커스텀 컨테이너 런타임과 최적화된 파일 시스템을 통해 이를 밀리초(ms) 단위로 단축하려 시도합니다.
- 리소스 집약도와 가용성: 일반적인 HTTP 워크로드와 달리 GPU는 고가의 자원입니다. Modal의 모델은 'Infrastructure-as-Code'를 넘어 'Infrastructure-as-Python'에 가까운 추상화를 제공하여, 유휴 자원 낭비를 극단적으로 줄이는 서버리스 아키텍처를 구현했습니다.
- Heterogeneous Computing: 다양한 NVIDIA GPU 라인업(H100, A100, T4 등)에 최적화된 스케줄링 알고리즘이 필수적입니다. Modal은 워크로드의 특성에 따라 동적으로 자원을 할당하는 고성능 스케줄러를 독자적으로 구축한 것으로 보입니다.
Modal의 현재 연간 반복 매출(ARR)은 약 5,000만 달러로 추정됩니다. 이는 기술적 우위가 실제 매출로 빠르게 전환되고 있음을 시사하며, AI 인프라 시장이 단순한 거품을 넘어 실질적인 비즈니스 가치를 창출하는 단계로 진입했음을 보여줍니다.
원문 출처: AI inference startup Modal Labs in talks to raise at $2.5B valuation, sources say
댓글
댓글 쓰기