BOND–Artificial Intelligence#4 | 매거진에 참여하세요

#1 AI는 어떻게 인터넷보다 빠르게 확산됐는가: 변화의 기하급수 곡선 → 여기서 확인하세요

#2. AI 기술의 진화: 모델, 성능, 비용, 개발자 생태계 → 여기서 확인하세요

#3. #3. AI는 공짜가 아니다 – 돈이 움직이는 AI 산업 → 여기서 확인하세요

#4. AI 비용의 진화와 새로운 병목 지점

AI가 진짜 비싼 기술이라는 걸 아시나요?

요즘 누구나 ChatGPT를 써보고, Claude도 써보고, Gemini까지 넘나들죠.
왠지 AI가 점점 우리 삶에 가까워지는 느낌, 들지 않으세요?

하지만 그 이면에는 거의 잘 알려지지 않은 진실이 있습니다.
바로, 이 모든 게 어마어마하게 비싸다는 사실이에요.

OpenAI가 GPT-4를 만들 때 들어간 비용은 수백억 원이 넘고,
AI 하나를 돌리기 위해 필요한 GPU 클러스터 가격은 수천억을 훌쩍 넘습니다.
그리고 놀랍게도, 이 비용은 아직도 계속 올라가고 있어요.

CapEx는 폭발 중이다

BOND 보고서에 따르면, 2024년 미국 빅테크 기업들의 CapEx(설비 투자)는 2120억 달러에 달합니다.
그중 상당 부분이 바로 AI 인프라 구축에 사용되고 있죠.

이건 단순한 R&D 투자가 아닙니다.
운영을 위한 ‘기본 비용’이 이만큼이라는 뜻이에요.

GPU가 곧 자본이다

AI 산업에서 GPU는 단순한 부품이 아닙니다. 자본 자체예요.

• 1개의 H100 GPU 가격: 약 3,000만 원

• 하나의 클러스터: 수백~수천 개 GPU 필요

• 전체 클러스터 구성 비용: 수백억 원 이상

보고서에서는 “GPU가 전체 CapEx의 25% 이상을 차지한다”고 밝히고 있어요.
즉, 이제는 AI가 아니라 연산 자본의 전쟁이 벌어지고 있는 셈이죠.

하지만 비용은 점점 줄고 있다?

놀랍게도, 이 천문학적 비용에도 불구하고
AI 추론 단가(FLOPs당 비용)는 계속 떨어지고 있습니다.

왜냐하면 하드웨어 성능은 좋아지고, AI 모델의 알고리즘 효율성도 점점 개선되고 있기 때문이에요.

이건 긍정적인 신호이긴 해요.
하지만 여기에는 또 다른 문제가 숨어 있습니다.

새로운 병목: 돈이 아니라 물리적 한계

기술이 발전하면 보통 가격이 떨어지죠.
그런데 AI는 다릅니다. 단가는 떨어지는데 총 비용은 계속 오릅니다. 왜일까요?

사용량이 너무 많아졌어요.

ChatGPT만 해도 몇 초에 수백만 명이 접속합니다.
단가가 아무리 떨어져도, 사용하는 양이 기하급수적으로 늘어나기 때문에
결과적으로는 더 많은 연산, 더 많은 자본이 필요해지는 거죠.

이게 바로 Jevons Paradox와도 닮아 있어요. 효율성이 좋아질수록 오히려 더 많이 쓰게 된다는 역설이죠.

냉각, 전력, I/O 속도 – 눈에 안 보이는 병목

AI 서버가 늘어나면서, 새로운 문제가 생기고 있어요.

• - 전력: AI 서버 하나가 일반 서버보다 훨씬 더 많은 전기를 먹습니다.

• - 냉각: GPU가 발열이 심해서 냉각 장치도 고도화 필요

• - 입출력 속도: 데이터 읽고 쓰는 I/O가 병목 지점이 되기도 합니다

보고서에 따르면, AI의 확산은 이제 돈을 넘어서 물리적인 제약으로 옮겨가고 있다고 분석하고 있어요.

기업은 이제 “비용 중심 전략”을 짠다

이런 배경 속에서 기업들은 다음과 같은 전략을 취하기 시작했습니다.

• - AI 모델을 경량화하거나 분할 실행함

• - 온디바이스 모델을 활용해 클라우드 비용을 줄임

• 특정 작업만 AI에 맡기고 나머지는 사람 또는 rule-based 처리로 전환

즉, 이제는 최고의 성능을 내는 AI보다 가성비가 좋은 AI가 기업들의 관심사가 된 거죠.