Key Takeaways
AI 컴퓨트 비용은 지금 정반대 두 방향으로 갈라지고 있습니다. 프런티어 모델을 ‘만드는’ 훈련 비용은 2016년 이후 해마다 두 배 넘게 뛰어 추세가 유지되면 2027년 단일 훈련에 10억 달러를 넘어설 전망이지만, 같은 성능을 ‘쓰는’ 추론 비용은 매년 10배 안팎으로 무너져 3년 만에 1000배가 싸졌습니다. Epoch AI·arXiv·a16z의 1차 데이터로 이 분기가 AI 산업 구조에 무엇을 의미하는지 짚습니다.
- 훈련 컴퓨트는 2020년 이후 매년 5배, 약 5.2개월마다 두 배로 증가 (Epoch AI)
- amortized 훈련 비용은 2016년 이후 연 2.4배(90% CI 2.0~2.9배), 2027년 10억 달러 외삽 (arXiv·Epoch)
- 고정 성능 추론 단가는 과제별 연 9~900배 하락, a16z 추정 3년 1000배 (Epoch·a16z)
- 해석: 가치는 ‘프런티어 소수 독점’과 ‘추론 민주화’의 양극(바벨)으로 쏠린다
한 번 학습에 10억 달러. 그런데 같은 지능을 쓰는 값은 거의 공짜가 됩니다. 모순처럼 들리는 이 두 문장은, 둘 다 AI 컴퓨트 비용의 실측 데이터에서 나온 사실입니다.
AI 컴퓨트 비용을 둘러싼 논쟁은 보통 “AI가 너무 비싸다” 혹은 “AI가 너무 싸졌다” 중 한쪽으로만 흐릅니다. 그러나 1차 데이터를 펼쳐 놓으면 두 진술이 동시에 참이라는 사실이 드러납니다. 모델을 새로 만드는 쪽과 굴리는 쪽이 정확히 반대 방향의 지수 곡선을 그리기 때문입니다. 이 글은 그 두 곡선을 분리해 읽습니다.
AI 컴퓨트 비용, 두 개의 지수 곡선이 정반대로 달린다
프런티어 언어모델의 훈련 컴퓨트(모델 학습에 투입되는 총 연산량)는 2020년 이후 매년 5배, 약 5.2개월마다 두 배씩 늘었습니다. 이 곡선은 위로만 향합니다. 컴퓨트가 늘면 그것을 사는 비용도 따라 오르기 때문입니다.
반대편에는 추론 비용이 있습니다. 같은 성능을 한 번 돌리는 데 드는 값은 해마다 빠르게 내려가, Epoch AI는 과제에 따라 연 9~900배 하락을 보고합니다. 한쪽은 위로, 한쪽은 아래로 — 이것이 이 글이 다루는 ‘분기’의 정확한 모양입니다.
왜 이게 단순한 ‘비용 절감’ 뉴스가 아니냐면, 두 곡선이 서로 다른 것을 측정하기 때문입니다. 한 곡선은 인류가 도달한 적 없는 최고 성능을 새로 정복하는 값이고, 다른 곡선은 이미 정복한 성능을 대량으로 서빙하는 값입니다.
만드는 값: 2.4배씩 뛰어 2027년 10억 달러 고지
Epoch AI 연구진(Cottier 외, arXiv:2405.21015)은 45개 프런티어 모델의 학습 비용을 세 가지 방식으로 추정했습니다. 그 결과 amortized(감가상각 반영) 하드웨어·에너지 비용은 2016년 이후 매년 2.4배(90% 신뢰구간 2.0~2.9배)씩 증가했습니다. 클라우드 임대 기준으로 계산하면 연 2.6배로, 두 방식 모두 가파른 상승을 가리킵니다.
이 추세를 그대로 연장하면 어떻게 될까요. 연구진은 “추세가 유지되면 가장 큰 훈련 실행 비용이 2027년 10억 달러를 넘어설 것”이라고 적었습니다. 다만 이는 과거 성장률이 그대로 이어진다는 가정 위의 직접 외삽으로, 확정된 미래가 아니라 조건부 전망입니다.
비용의 구성도 들여다볼 만합니다. GPT-3·OPT-175B·GPT-4·Gemini Ultra를 분석한 결과, 가속기 칩·서버·인터커넥트가 전체의 47~67%를 차지했고, 지분 보상을 포함한 연구·개발 인건비가 29~49%였습니다. 흥미롭게도 에너지 자체는 2~6%에 불과했습니다. 즉 훈련 비용 폭증의 1차 동력은 전기료가 아니라 AI 반도체와 인재라는 뜻입니다.
그래서 투자·산업 관점에서 의미는 분명합니다. 프런티어를 ‘만드는’ 일은 칩과 자본이 집약된 게임이 되고 있으며, 그 문턱은 해마다 두 배 이상 높아지고 있습니다.
쓰는 값: 3년 만에 1000배, 매년 10배씩 무너진다
이제 곡선을 뒤집어 봅니다. 고정된 성능 수준을 기준으로 한 추론 단가는 과제에 따라 매년 9~900배씩 떨어졌습니다. Epoch AI의 집계에서 중앙값은 연 50배였고, 2024년 1월 이후 데이터만 보면 연 200배로 오히려 가속됐습니다.
구체적인 예가 이해를 돕습니다. 박사급 과학 문항(GPQA Diamond)에서 GPT-4 수준의 정답률에 도달하는 추론 단가는 매년 40배씩 내려갔습니다. 같은 답을 얻는 데 드는 돈이 1년마다 40분의 1로 줄어든 셈입니다.
벤처캐피털 a16z의 분석은 더 직관적인 숫자를 제시합니다. 동일 성능 LLM 추론 비용은 매년 약 10배씩 떨어져 2021년 11월부터 2024년 11월까지 3년 동안 1000배가 내려갔습니다. 100만 토큰 기준 GPT-3급 가격이 60달러에서 Llama 3.2 3B의 0.06달러로 주저앉은 것이 대표 사례입니다.
이 흐름은 추론 모델처럼 답하기 전에 더 많이 ‘생각하는’ 방식이 늘어도 흔들리지 않습니다. 단위 토큰 가격이 빠르게 내려가니, 더 많은 토큰을 쓰는 기법조차 시간이 지날수록 감당 가능해지기 때문입니다.
모순이 아니다: ‘프런티어’와 ‘고정 성능’의 분리
그렇다면 어떻게 만드는 값은 오르고 쓰는 값은 내릴 수 있을까요. 정리하면, 두 곡선은 측정 대상이 다릅니다. 훈련 비용은 매년 더 어려워지는 ‘프런티어’라는 움직이는 표적을 새로 맞히는 값이고, 추론 비용은 이미 고정된 능력을 서빙하는 값입니다.
고정된 능력을 싸게 만드는 힘은 두 축에서 나옵니다. Epoch AI에 따르면 사전학습 컴퓨트 효율은 매년 3.0배 개선돼, 같은 성능을 해마다 3분의 1의 연산으로 달성할 수 있습니다. 여기에 달러당 FLOP/s로 측정한 하드웨어 가성비가 2012~2025년 매년 약 37%(1.37배)씩 좋아진 효과가 더해집니다.
분석 — 우리 해석으로는, 이 분기는 모순이 아니라 ‘어제의 프런티어가 오늘의 상품이 되는 시계’의 자연스러운 결과입니다. 출처들이 따로 보고한 세 수치를 하나의 인과로 엮으면 다음과 같이 읽힙니다.
- 훈련 컴퓨트가 연 5배로 늘기 때문에, 최신 프런티어를 ‘만드는’ 비용은 연 2.4배로 오른다 (Epoch·arXiv).
- 알고리즘 효율 연 3.0배와 하드웨어 가성비 연 1.37배가 누적되므로, 한번 도달한 ‘고정 성능’을 ‘쓰는’ 비용은 빠르게 내려간다 (Epoch).
- 따라서 같은 시점에 최고 성능의 값은 오르고, 1~2년 전 성능의 값은 폭락한다 — a16z가 관측한 연 10배 하락이 그 결과다.
왜 이게 중요하냐면, 두 곡선을 분리해 봐야 ‘AI가 비싸다 vs 싸다’ 논쟁이 풀리기 때문입니다. 프런티어를 좇는 주체에게 AI는 매년 더 비싸지고, 어제의 성능으로 충분한 사용자에게 AI는 매년 더 싸집니다.
한눈에 보는 분기: 더블링 타임 비교표
출처들이 따로 발표한 핵심 지표를 한자리에 모으면 분기의 윤곽이 또렷해집니다. 아래 표는 Epoch AI·arXiv·a16z의 1차 수치를 방향과 변화율 기준으로 정리한 것입니다. 개별 출처에는 흩어져 있던 값을 하나로 묶은, 이 글의 종합입니다.
| 지표 | 방향 | 변화율 | 1차 출처 |
|---|---|---|---|
| 프런티어 훈련 컴퓨트 | 상승 ↑ | 연 5배 (5.2개월마다 2배) | Epoch Trends |
| 훈련 비용 (amortized) | 상승 ↑ | 연 2.4배 (2016~, 90% CI 2.0~2.9) | arXiv·Epoch |
| 훈련 전력 수요 | 상승 ↑ | 연 약 2배 | Epoch Trends |
| 추론 단가 (고정 성능) | 하락 ↓ | 연 9~900배 하락, 중앙값 50배 | Epoch |
| 추론 단가 (동일 성능) | 하락 ↓ | 연 약 10배, 3년 1000배 | a16z |
| 사전학습 컴퓨트 효율 | 개선 | 연 3.0배 (7.6개월마다 2배) | Epoch Trends |
| 하드웨어 가성비 (FLOP/$) | 개선 | 연 1.37배 (2.2년마다 2배) | Epoch Trends |
표의 위쪽 세 줄과 아래쪽 두 줄이 정확히 반대 방향을 가리킵니다. 그 사이를 잇는 것이 맨 아래 두 ‘개선’ 지표이며, 이들이 고정 성능의 가격을 끌어내리는 엔진입니다.
분기가 만드는 바벨 시장 — 누가 이기는가
이 데이터를 시장 구조로 옮기면 ‘바벨’ 모양이 나옵니다. 한쪽 끝에는 연 2.4배로 오르는 훈련 비용을, 머지않아 10억 달러 단위를 감당할 수 있는 소수의 프런티어 랩과 국가가 있습니다. 비용 문턱 자체가 진입 장벽이 되어 최고 성능은 소수에게 집중됩니다.
다른 쪽 끝에는 폭락하는 추론 단가를 마진과 접근성으로 흡수하는 애플리케이션 계층이 있습니다. 모델을 직접 만들지 않아도, 1~2년 전 성능을 거의 공짜로 끌어다 쓸 수 있는 쪽이 여기에 해당합니다.
분석 — 우리 해석으로는, 가장 위험한 자리는 바벨의 ‘가운데’입니다. 중간급 모델 그 자체를 해자로 삼은 사업자는 상품화 시계에 그대로 노출됩니다.
- 추론 단가가 연 10배로 내려가므로, 올해의 ‘평균 모델’은 내년이면 누구나 헐값에 쓸 수 있다 (a16z).
- 동시에 프런티어 진입 비용은 연 2.4배로 올라, 중간 사업자가 단숨에 최상단으로 올라서기도 어렵다 (arXiv·Epoch).
- 따라서 차별화 없는 중간급 모델은 위아래 양쪽에서 눌린다 — 가치는 양극으로 흐른다.
2027년, 곡선이 유지된다면
곡선이 지금처럼 이어진다고 가정하면, 훈련 측의 진짜 제약은 알고리즘에서 자본·전력·칩으로 옮겨갑니다. Epoch AI에 따르면 프런티어 훈련의 전력 수요는 매년 약 2배로 늘어, 최신 실행은 이미 수십~수백 메가와트를 소비합니다. 알려진 최대 훈련은 Grok 4의 약 5×10²⁶ FLOP입니다.
추론 측은 반대인데, 비용이 사실상 병목에서 빠지면 경쟁의 축은 ‘얼마나 싸게 굴리느냐’가 아니라 ‘무엇으로 차별화하느냐’로 이동합니다. 같은 성능을 모두가 거의 공짜로 쓸 수 있을 때, 남는 것은 데이터·제품·유통의 차이입니다.
물론 이 모든 전망은 과거 곡선의 연장이라는 점을 잊으면 안 됩니다. 스케일링 효과의 포화, 학습 데이터의 한계, 규제, 혹은 알고리즘 효율의 갑작스러운 점프 가운데 하나만 와도 두 곡선의 기울기는 달라질 수 있습니다. 조건이 바뀌면 결론도 바뀐다는 것 — 이것이 외삽을 읽는 정확한 자세입니다.
그래서 앞으로 추적할 지표는 두 가지로 좁혀집니다. 첫째는 가장 큰 단일 훈련 실행의 공개 비용이 10억 달러 선에 실제로 닿는지, 둘째는 고정 성능 추론 단가의 연간 하락 배수가 50배 부근을 유지하는지입니다. 이 두 숫자가 분기의 다음 장을 결정합니다.
랙 하나 뜯어보니 95%가 칩 — AI 반도체 1.2조 달러 시장의 해부
답하기 전에 ‘생각하는’ AI: 추론 모델 완벽 가이드
참고 자료
- Epoch AI — Machine Learning Trends (2026-02-05) — 훈련 컴퓨트 연 5배(5.2개월 2배), 전력 연 약 2배, Grok 4 약 5×10²⁶ FLOP
- Cottier 외 — The rising costs of training frontier AI models, arXiv:2405.21015 (2024-05-31) — amortized 훈련 비용 연 2.4배(90% CI 2.0~2.9배)
- Epoch AI — How much does it cost to train frontier AI models? (2024-06-03) — 2027년 10억 달러 외삽, 45개 모델·3가지 추정 방식
- Epoch AI — 비용 구성 분해 (2024-06-03) — 칩·서버·인터커넥트 47~67%, 인건비 29~49%, 에너지 2~6%
- Epoch AI — LLM inference prices have fallen rapidly but unequally (2025-03-12) — 고정 성능 추론가 연 9~900배 하락, 중앙값 50배(2024년 이후 200배)
- Epoch AI — GPQA Diamond 사례 (2025-03-12) — GPT-4 성능 도달 추론 단가 연 40배 하락
- a16z — Welcome to LLMflation, Guido Appenzeller (2024-11-12) — 동일 성능 추론 연 10배, 3년 1000배($60→$0.06/100만 토큰)
- Epoch AI — 효율·하드웨어 추세 (2026-02-05) — 사전학습 효율 연 3.0배, 하드웨어 가성비 연 1.37배
자주 묻는 질문
Q1. AI 훈련 비용과 추론 비용은 왜 정반대로 움직이나요?
훈련 비용은 매번 더 어려운 ‘프런티어’를 새로 정복하는 값이라 컴퓨트·자본 투입이 매년 2배 이상 늘어 비싸집니다. 추론 비용은 이미 고정된 성능을 서빙하는 값이라 알고리즘 효율(연 3배)과 하드웨어 가성비(연 1.37배)가 누적되며 빠르게 싸집니다. 측정 대상이 ‘움직이는 표적’과 ‘고정 능력’으로 다르기 때문에 모순이 아닙니다.
Q2. 2027년 AI 모델 훈련에 정말 10억 달러가 드나요?
Epoch AI는 2016년 이후 amortized 훈련 비용이 매년 2.4배(90% CI 2.0~2.9배) 늘어온 추세를 그대로 연장하면 2027년 가장 큰 단일 훈련 실행이 10억 달러를 넘을 수 있다고 추정합니다. 이는 추세가 유지된다는 가정 위의 외삽이며, 스케일링 포화나 효율 점프가 오면 달라질 수 있는 전망치입니다.
Q3. 추론 비용이 3년에 1000배 싸졌다는 게 사실인가요?
a16z 분석에 따르면 동일 성능 LLM 추론 단가는 매년 약 10배씩 떨어져 2021년 11월부터 2024년 11월까지 1000배 하락했습니다. 100만 토큰 기준 GPT-3급 60달러에서 Llama 3.2 3B 0.06달러로 내려간 사례입니다. Epoch도 과제별로 연 9~900배(중앙값 50배) 하락을 보고합니다.
Q4. 그럼 AI 산업에서 누가 돈을 버나요?
이 글의 해석으로는 양극(바벨)에서 가치가 쏠립니다. 한쪽 끝은 10억 달러급 훈련을 감당할 수 있는 소수의 프런티어 랩, 다른 쪽 끝은 폭락하는 추론비를 마진·접근성으로 흡수하는 애플리케이션 계층입니다. 가장 위험한 위치는 작년 수준의 중간급 모델 자체를 해자로 삼는 사업자입니다.
Q5. 전력이 AI 확장의 진짜 병목인가요?
Epoch에 따르면 프런티어 훈련의 전력 수요는 매년 약 2배로 늘어 최신 실행은 수십~수백 메가와트를 씁니다. 비용 구성에서 에너지 자체는 2~6%로 작지만, 곡선이 유지되면 칩·자본과 함께 전력 확보가 훈련 측의 실질 제약으로 이동할 가능성이 있습니다.
Jugger | JuggerInsight 운영자 · 백엔드 엔지니어
2021년 6월부터 솔루션 서비스 소프트웨어 도메인에서 백엔드 엔지니어로 재직 중입니다. 시스템 설계·API 구현·운영 환경의 실무 시각을 AI·IT·클라우드 인프라 관련 글에 그대로 반영합니다.
블록체인·매크로 경제 분야는 직접적 직업 경험은 없으나, SEC 공시·백서·기관 리포트·정부 통계 등 1차 자료 인용을 기반으로 분석합니다. 추정과 사실을 본문에서 명확히 구분하고, 검증되지 않은 정보는 게재하지 않는 것을 원칙으로 합니다. 모든 글의 1차 출처 링크는 본문 하단 References에 전수 공개합니다.
콘텐츠 초안 단계에서 AI 모델을 보조 도구로 활용하나, 모든 글은 운영자가 검토·수정·검증한 뒤 발행합니다. 오류 발견 시 본문에 정정 표시를 남깁니다.
문의: jjunggulee@gmail.com