같은 AI도 1000만 달러 쓰면 달라진다 — OpenAI 연구원이 밝힌 '벤치마크의 거짓말'

📺 2026-06-26 · 마켓레이더 대가들의 대화 · 들이는 컴퓨팅 비용이 곧 모델 실력이 된 시대 — 추론(inference) 수요 폭증이 SK하이닉스 HBM과 데이터센터 전력 산업에 던지는 신호

2026년 6월 21일 Techtimes 보도에 따르면, OpenAI의 차세대 모델 '5.5'는 공개 직후 벤치마크 그리드에서 직전 '5.4' 대비 일부 항목이 몇 퍼센트포인트 오르는 데 그쳤다. '별로 나아진 게 없다'는 회의론이 곧바로 따라붙었다.

그런데 그 숫자가 진짜 실력을 가리고 있었다는 주장이 나왔다. AI 팟캐스트 No Priors(진행 Sarah Guo)에 출연한, 영상에서 OpenAI 리서치 사이언티스트로 소개된 노암 브라운(Noam Brown)은 '벤치마크를 잘못 읽고 있다'고 말한다. 핵심 변수는 모델이 답을 내기 전 추가로 쓰는 연산량, 즉 테스트타임 컴퓨트(test-time compute, 추론 단계에서 더 들이는 계산량)다.

이 한 가지 변수가 코스피 반도체 섹터 입장에서 작지 않다. 모델 실력이 '얼마나 오래·많이 연산하느냐'에 달렸다면, 추론(inference) 수요는 쉽게 천장에 닿지 않는다. SK하이닉스 HBM 라인부터 데이터센터 전력까지 곧장 이어지는 이야기다.

무슨 일이 있었나 — '벤치마크 숫자'가 진짜 실력을 숨겼다

브라운의 진단은 단순하다. 새 모델이 나오면 업계는 가로축에 여러 벤치마크, 세로축에 모델별 점수를 찍은 '그리드' 한 장으로 우열을 가린다. 문제는 이 표가 각 문제에 모델이 얼마나 오래 생각했는지(테스트타임 컴퓨트)를 통제하지 않는다는 점이다.

실제로 '5.5'는 '5.4'보다 생각이 훨씬 효율적이어서 같은 답을 더 빨리 내놓는다. 최대 설정에서 오래 굴리는 '5.4'와 단순 점수만 비교하면 차이가 작아 보이지만, 사고량을 같은 기준으로 맞추면 5.5의 도약이 뚜렷하다는 것이 그의 설명이다. 몇 시간 만에 직접 써본 사용자들의 평가가 뒤집힌 이유다.

더 큰 문제는 '그럼 끝까지 생각시키면 되지 않나'라는 반론이 더는 통하지 않는다는 점이다. Venturebeat가 다룬 2022년의 GPT-3는 오래 생각시켜도 금세 성능이 평탄해졌지만, 요즘 모델은 잘 엮어주면 몇 주씩 생각하고도 성능이 계속 오른다. 평탄해지는 지점이 너무 멀어 '끝까지 테스트'가 현실적으로 불가능해진 것이다.

진짜 충격 — 모델 실력이 '투입한 돈'의 함수가 됐다

이번 대담에서 브라운이 거듭 강조한 핵심은 이렇다. 모델의 능력은 더 이상 고정된 한 점이 아니라, 거기에 얼마를 쓰느냐에 따라 움직이는 변수다. 예산 10달러를 줄 때와 1만 달러, 다시 1000만 달러를 줄 때 같은 모델이 전혀 다른 결과를 내놓는다. 그는 이를 두고 "우리는 모델의 능력이 거기에 얼마의 돈을 넣느냐의 함수가 된 세상에 와 있다" (Noam Brown, No Priors 팟캐스트)고 정리했다.

이게 왜 충격인가. 능력에 천장이 안 보인다는 뜻이기 때문이다. Infosecurity-magazine이 2026년 4월 14일 전한 영국 AI 안전 연구소(AISI) 평가에서, 모델은 사이버 보안 과제에서 1억(100 million) 토큰을 투입할 때까지도 성능이 계속 올라갔다. 멈추는 게 아니라, 그 지점을 넘어서도 개선의 기울기가 살아 있었다.

그가 모델 실력을 가늠하는 개인적 잣대는 포커 봇 제작이다. Siliconangle 보도로도 알려진 '5.2'로 그는 포커의 마지막 단계인 리버 솔버(river solver)를 혼자 할 때보다 약 5배 빠르게, 코드 최적화는 약 10배 빠르게 만들 수 있었다고 한다. '5.5'에 와서는 같은 작업을 거의 한 번에(zero-shot) 해냈다고 덧붙였다.

그래서 평가 방식 자체를 바꿔야 한다는 게 그의 주장이다. 단일 점수 대신 '토큰·비용·시간'을 가로축에 놓고 성능 곡선으로 비교하거나, 예산 상한을 정해 그 안에서 겨루게 해야 한다는 것이다. 모델을 다섯 번 돌려 가장 좋은 답을 고르는 식의 '벤치마크 맥싱(benchmark maxing)'은 점수는 올려도, 사고량을 같은 기준으로 맞추면 실제로 더 나은 게 아닐 수 있다.

투자자 관점에서 이 문장은 무겁다. 모델 한 세대가 끝이 아니라, 같은 모델에 연산을 더 부어 능력을 끌어올리는 구간이 길게 열려 있다는 뜻이기 때문이다. 학습(training)에서 추론(inference)으로 무게중심이 옮겨가고, 그 추론 연산은 '더 오래, 더 많이'라는 방향으로 계속 팽창한다.