한국 AI는 정말 세계 3위일까? 독파모가 평가한 것은 무엇인가

최근 한국 AI 업계에서 흥미로운 일이 있었다.

정부가 추진하는 독자 AI 파운데이션 모델 프로젝트, 이른바 '독파모'에 참여한 국내 모델들이 글로벌 AI 벤치마크에서 높은 성적을 기록했다.

특히 모티프테크놀로지스의 Motif 3는 Artificial Analysis Intelligence Index(AAII)에서 47점을 기록했다.

Artificial Analysis 기준 전체 모델 가운데 10위권에 해당하는 성적이었고, 미국과 중국을 제외하면 특히 눈에 띄는 결과였다.

Artificial Analysis는 이후 한국을 미국과 중국에 이어 **"clear #3 nation in AI"**라고 평가했다.

그런데 조금 이상한 일이 벌어졌다.

한국의 세계 3위 주장을 뒷받침한 가장 강력한 사례 가운데 하나였던 모티프테크놀로지스가 독파모 2차 평가에서 탈락한 것이다.

벤치마크에서는 국내 참가팀 중 가장 높은 성적을 기록했는데, 정작 세계적인 독자 AI 모델을 만들기 위한 국가 프로젝트에서는 살아남지 못했다.

왜 이런 결과가 나온 걸까?

그리고 더 근본적으로 묻고 싶다.

독파모는 무엇을 가장 중요한 AI 경쟁력으로 평가하고 있는 것일까?

독파모는 단순한 AI 서비스 경진대회가 아니다

독파모의 정식 명칭은 독자 AI 파운데이션 모델 프로젝트다.

해외 파운데이션 모델에 의존하지 않고 국내 기술로 경쟁력 있는 AI 기반 모델을 개발하는 것이 목표다.

정부는 GPU, 데이터, 인프라 등을 지원하고 여러 정예팀이 경쟁하는 방식으로 프로젝트를 진행하고 있다.

여기서 중요한 단어는 **'파운데이션 모델'**이다.

ChatGPT와 비슷한 챗봇 서비스를 하나 만드는 프로젝트가 아니다.

다양한 AI 서비스와 제품을 구축하는 기반이 되는 모델 자체를 개발하는 사업이다.

그리고 2차 평가에서는 글로벌 모델 경쟁력을 확인하기 위해 Artificial Analysis의 Intelligence Index가 공식 평가 지표 가운데 하나로 사용됐다.

Motif 3의 AAII 47점

Artificial Analysis가 직접 평가한 Motif 3의 Intelligence Index는 47점이다.

Motif 3는 314B 규모의 MoE 모델이며 실제 추론에는 약 13.2B 파라미터가 활성화된다. 262K 수준의 컨텍스트를 지원하고 오픈웨이트로 공개됐다.

AAII에서 평가된 성능은 단순한 한국어 능력이나 특정 문제풀이 점수가 아니다.

추론, 지식, 수학, 코딩 등 여러 영역을 종합한 결과다.

그리고 47점이라는 성적은 당시 국내 참가팀 가운데 가장 높았다.

독파모 평가에 반영된 AAII 점수는 다음과 같았다.

Motif가 명확한 1위였다.

그런데 최종 결과는 정반대였다.

벤치마크 1위, 최종 평가 4위

과학기술정보통신부가 공개한 2차 평가 상세 결과는 다음과 같다.

Motif는 AAII에서는 1위였지만,

• NIA 4위
• 전문가 평가 4위
• AI 전문 사용자 평가 4위
• 일반 국민 평가 4위

를 기록했다.

결국 총점 65.8점으로 최하위가 됐고 2차 단계에서 탈락했다.

점수 계산 자체에는 이상한 부분이 없다.

평가 규칙에 따르면 Motif가 탈락하는 것이 맞다.

그렇다면 논쟁해야 할 것은 결과가 아니라 평가 기준 자체다.

독파모의 100점은 어떻게 구성됐을까

2차 평가의 전체 구조를 보면 조금 다른 그림이 나타난다.

AAII와 NIA를 합친 정량 벤치마크는 40점이다.

전문가 및 사용자 평가가 나머지 60점을 차지한다.

다만 여기서 단순히 '정량 40%, 주관 60%'라고 표현하는 것도 조심해야 한다.

NIA 역시 단순한 부가 평가가 아니다.

NIA 벤치마크는 공식적으로 다음 일곱 영역을 평가했다.

수학, 지식, 장문 이해, 안전, 신뢰성, 한국어, 지시 이행.

즉 글로벌 벤치마크가 놓칠 수 있는 한국어 능력과 안전성, instruction following 등을 별도로 확인하려는 목적이 있다.

실제로 Motif는 AAII에서는 큰 우위를 보였지만 NIA에서는 12.7점으로 SKT의 13.4점과 큰 차이를 보이지 않았다.

이는 Motif가 글로벌 벤치마크에서는 강했지만 모든 평가 영역에서 압도적인 모델은 아니었다는 의미이기도 하다.

AAII 47점이 왜 11.9점이 됐을까

이 부분은 오해하기 쉽다.

독파모가 별도의 복잡한 환산식을 사용해서 Motif의 우위를 인위적으로 줄인 것은 아니다.

공식 환산 방식은 매우 단순하다.

독파모 AAII 점수 = AAII × 25 / 100

예를 들어 AAII가 60점이라면 독파모에서는 15점이다.

따라서 Motif 3의 약 47점은 11.9점으로 환산됐다.

Upstage와의 AAII 차이가 약 10점이었다면 최종 평가에서는 약 2.5점 차이가 된다.

수학적으로는 아무 문제가 없다.

하지만 여기서 정책적인 질문은 여전히 남는다.

글로벌 AI 모델 성능에 애초부터 전체 점수의 25%만 배정하는 것이 적절했는가?

이것이 Motif가 제기한 문제와 이번 논쟁을 바라볼 때 더 정확한 질문이다.

사용자 평가는 무엇을 평가했을까

Motif가 가장 크게 뒤처진 곳은 사용자 평가다.

AI 전문 사용자 평가는 AI 개발 경험과 AI 모델 활용 경험이 많은 AI 스타트업 대표 50명을 선정했고 실제 49명이 참여했다.

참가자들은 각 팀이 제공한 AI 서비스 웹사이트를 직접 사용한 뒤 1점부터 5점까지 절대평가했다.

이를 15점 만점으로 환산했다.

결과는 다음과 같다.

일반 국민 평가에서는 성별·연령별 인구 구성을 고려해 200명을 무작위 선정했고 실제 185명이 참여했다.

마찬가지로 각 팀을 1~5점으로 평가한 뒤 10점 만점으로 환산했다.

두 사용자 평가 모두 Motif가 상당한 차이로 최하위였다.

이 결과를 무시해서는 안 된다.

AAII가 높다고 실제 사용자 경험까지 자동으로 좋아지는 것은 아니기 때문이다.

Motif가 벤치마크에서는 강하지만 instruction following이나 대화 품질 등 실제 사용 환경에서 약점을 가지고 있었을 가능성도 있다.

하지만 현재 공개된 자료만으로 그 원인을 확정할 수는 없다.

여기서 하나의 문제가 생긴다

사용자들이 평가한 것은 순수한 모델 API가 아니었다.

과기정통부 공식 설명에 따르면 각 팀이 제공한 AI 서비스 웹사이트를 사용했다.

그렇다면 사용자가 경험하는 결과에는 모델 이외의 요소도 개입할 수 있다.

Foundation Model
        +
System Prompt
        +
Inference Configuration
        +
Serving Infrastructure
        +
Response Speed
        +
Web Interface
        ↓
사용자가 경험하는 AI

따라서 사용자 평가가 낮다는 사실은 중요하지만 그것이 곧바로 파운데이션 모델 자체의 성능이 낮다는 의미인지는 별개의 문제다.

그리고 사용자 평가에는 전체 점수의 25점이 배정돼 있다.

공교롭게도 AAII와 정확히 같은 배점이다.

이 지점에서 독파모의 목적에 대한 질문이 생긴다.

세계적으로 경쟁력 있는 파운데이션 모델을 선정하려는 것인가?

아니면

국내에서 실제로 활용하기 좋은 AI 모델과 사업자를 선정하려는 것인가?

둘 다 중요한 목표다.

하지만 둘은 같은 평가 기준을 요구하지 않는다.

전문가 평가가 가장 큰 35점이었다

오히려 독파모에서 가장 높은 비중을 차지한 것은 벤치마크도 사용자 평가도 아니다.

전문가 평가 35점이다.

외부 전문가 10명으로 평가위원회를 구성했다.

• 산업계 3명
• 학계 5명
• 연구계 2명

각 팀의 자료를 약 5일 동안 서면 평가하고 질의응답을 진행했다.

평가 기준은 다음과 같다.

최고점과 최저점을 제외한 나머지 평가위원 점수의 산술평균을 사용했다.

여기서 주목할 부분은 파급효과 및 기여계획이 15점이라는 것이다.

즉 독파모는 단순히 현재 가장 강력한 모델을 선정하려는 프로젝트가 아니다.

향후 기술 개발 계획과 국내 AI 생태계에 얼마나 기여할 것인지까지 상당한 비중으로 평가하고 있다.

이 기준으로 보면 Motif의 탈락은 더욱 이해하기 쉬워진다.

하지만 동시에 프로젝트의 성격도 조금 달라 보인다.

그렇다면 '가장 좋은 파운데이션 모델'을 뽑는 사업은 아니다

여기까지 확인하면 한 가지는 분명하다.

독파모는

"현재 한국에서 가장 성능이 높은 파운데이션 모델을 뽑는 대회"

가 아니다.

글로벌 모델 성능뿐 아니라

• 한국어 능력
• 안전성
• 신뢰성
• 실제 사용성
• 개발 전략
• 향후 계획
• 국내 생태계 기여

까지 종합해서 국가가 계속 지원할 팀을 선정하는 정책 사업에 가깝다.

그렇게 정의하면 전문가 평가 35점과 사용자 평가 25점도 이해할 수 있다.

실제로 과기정통부는 이번 사업의 목적이 단순히 참가팀의 순위를 매기거나 탈락시키는 것이 아니라 국내 AI 생태계의 질적 성장과 확장이라고 설명하고 있다.

따라서 Motif가 AAII 1위인데 탈락했다는 사실만으로 평가가 잘못됐다고 말하는 것은 과도하다.

하지만 문제는 여기서 끝나지 않는다.

그렇다면 왜 '세계 3위'를 이야기할 때는 AAII를 사용했을까

Artificial Analysis는 최근 한국을 미국과 중국에 이어 **"clear #3 nation in AI"**라고 평가했다.

중요한 것은 하나의 모델만 보고 내린 평가가 아니라는 점이다.

한국에서 여러 연구팀이 동시에 near-frontier 수준의 모델을 개발하고 있다는 사실을 근거로 들었다.

이건 분명 의미 있는 성과다.

하지만 여기에는 묘한 긴장이 존재한다.

한국의 글로벌 AI 경쟁력을 설명할 때는 AAII라는 글로벌 모델 성능 지표가 강력한 근거가 된다.

그런데 독파모에서 지원팀을 선정할 때 같은 지표의 비중은 **25%**다.

즉,

한국의 글로벌 경쟁력 설명
        ↓
AAII 성과 강조
 
독파모 지원팀 선정
        ↓
AAII 25%
NIA 15%
전문가·사용자 60%

이다.

둘 중 어느 한쪽이 틀렸다는 의미는 아니다.

하지만 서로 다른 기준을 사용하고 있다는 사실은 분명히 설명할 필요가 있다.

국가 AI 경쟁력을 측정하는 기준과 국가가 지원할 기업을 선정하는 기준은 같지 않다.

그 차이를 설명하지 않고 단순히 '세계 3강'이라는 결과만 강조하면 당연히 논란이 생길 수밖에 없다.

한국 이전에는 왜 프랑스였을까

한국의 최근 상승 이전에 미국과 중국 다음으로 자주 언급되던 국가 가운데 하나는 프랑스였다.

대표적인 이유가 Mistral AI다.

Mistral은 2023년 등장한 이후 Mistral 7B, Mixtral, Mistral Large 계열을 지속적으로 개발하며 미국과 중국 이외 지역에서 가장 중요한 파운데이션 모델 개발사 가운데 하나로 자리 잡았다.

2024년 공개된 초기 Mistral Large는 당시 Mistral 자체 평가에서 GPT-4 다음 수준의 API 모델이라고 소개될 정도였다.

그리고 중요한 것은 한 번의 성공으로 끝나지 않았다는 점이다.

2025년 공개된 Mistral Large 3는 675B 전체 파라미터, 41B 활성 파라미터의 MoE 구조로 만들어졌다.

Mistral은 이 모델을 NVIDIA H200 GPU 3,000개를 이용해 처음부터 학습했고 Apache 2.0 라이선스로 공개했다.

프랑스가 평가받았던 이유는 단순히 특정 시점의 벤치마크 점수가 아니었다.

다음 모델을 계속 만들어낼 수 있는 구조가 존재했기 때문이다.

모델 다음에는 인프라가 있었다

Mistral은 이제 모델 개발만 하지 않는다.

자체 AI Cloud와 유럽 내 컴퓨팅 인프라를 구축하고 있다.

2026년에는 유럽에서 장기적인 AI 컴퓨팅 역량을 확보하기 위한 계획을 발표했고 2030년까지 최대 1GW 규모의 sovereign AI capacity 확보를 목표로 제시했다.

즉 구조가 다음 단계로 확장되고 있다.

연구자
 ↓
Foundation Model
 ↓
Open-weight 생태계
 ↓
기업용 AI
 ↓
Inference
 ↓
Compute Infrastructure

프랑스의 경쟁력을 Mistral 하나로 설명할 수 없는 이유다.

Mistral이 강해서 프랑스가 AI 강국이 된 측면도 있지만, 반대로 강한 연구·인재 생태계가 있었기 때문에 Mistral 같은 회사가 등장할 수 있었다.

한국은 프랑스를 추월했을까

여기서는 평가 기준을 구분해야 한다.

2026년 현재 특정 파운데이션 모델의 성능을 기준으로 보면 한국이 프랑스를 앞섰다고 평가할 근거가 있다.

Motif뿐 아니라 Upstage, SKT, LG 등 여러 조직이 동시에 경쟁력 있는 모델을 개발하고 있다는 점도 중요하다.

하나의 회사가 우연히 좋은 모델을 만든 것이 아니기 때문이다.

그렇다고 곧바로

"한국은 미국·중국과 함께 세계 AI 3강이다"

라고 표현하기에는 아직 거리가 있다.

3위와 3강은 같은 말이 아니다.

미국에는 OpenAI, Anthropic, Google, xAI 등이 경쟁하고 있다.

중국에는 Alibaba, Moonshot AI, Z.ai, DeepSeek, MiniMax 등 여러 연구소와 기업이 매우 빠른 속도로 모델을 교체하고 있다.

한국이 그다음 위치에 올라왔다고 하더라도 미국·중국과 비슷한 규모의 생태계를 구축했다는 의미는 아니다.

따라서 지금의 상황은 다음과 같이 표현하는 편이 더 정확하다.

한국은 파운데이션 모델 성능에서 미국과 중국 다음으로 주목할 만한 국가로 올라왔다.

그 자체로도 충분히 큰 변화다.

굳이 '3강'이라는 단어를 붙이지 않아도 된다.

Motif 탈락이 남긴 진짜 질문

이제 처음의 질문으로 돌아가 보자.

왜 가장 높은 글로벌 벤치마크 성적을 기록한 Motif가 탈락했을까?

답은 생각보다 간단하다.

독파모는 애초부터 글로벌 벤치마크만 평가하는 사업이 아니었기 때문이다.

그리고 과기정통부에 따르면 이번 평가 기준과 방식은 참여 정예팀들과 여러 차례 협의를 거쳐 확정됐으며 평가 전에 공식적으로 전달됐다.

따라서 현재 공개된 자료만으로 Motif가 부당하게 탈락했다고 단정할 근거는 부족하다.

오히려 Motif의 결과는 더 흥미로운 질문을 남긴다.

AAII 47점이라는 뛰어난 모델이 왜 실제 사용자 평가에서는 압도적인 최하위를 기록했는가?

현재 공개된 점수만으로는 그 원인을 알 수 없다.

모델 자체의 conversational quality 문제였을 수도 있고, 한국어 성능이나 instruction following 문제였을 수도 있다.

혹은 추론 설정, 서빙 속도, 시스템 프롬프트나 서비스 환경의 차이가 영향을 줬을 수도 있다.

이 부분이 공개되지 않는 이상 Motif가 단순히 '벤치마크에만 강한 모델'이었다고 단정하는 것도 위험하다.

세계 3위보다 중요한 질문

AI 국가 순위는 생각보다 쉽게 바뀐다.

오늘 한국 모델이 프랑스 모델보다 높은 점수를 기록했다고 해서 내년에도 그 자리에 있을 것이라는 보장은 없다.

그래서 나는 현재의 '세계 3위'보다 다른 질문이 더 중요하다고 생각한다.

독파모 지원이 끝난 뒤에도 한국 기업들이 다음 파운데이션 모델을 만들 수 있는가?

파운데이션 모델은 한 번 잘 만들면 끝나는 제품이 아니다.

몇 개월마다 새로운 세대가 등장한다.

그리고 새로운 모델을 계속 만들기 위해서는 GPU만 필요한 것도 아니다.

연구자와 데이터, 자본, 학계, 컴퓨팅 인프라, 서비스와 오픈소스 생태계가 연결돼야 한다.

그런 관점에서 보면 현재 한국과 프랑스의 차이는 흥미롭다.

한국은 현재 모델 성능에서 프랑스를 앞섰다고 평가할 근거가 생겼다.

하지만 프랑스의 AI 생태계까지 추월했다고 말하기에는 아직 이르다.

Mistral은 이미 수천 장의 H200으로 새로운 파운데이션 모델을 직접 학습했고, 이제는 유럽 내 대규모 컴퓨팅 인프라까지 구축하고 있다.

한국 역시 독파모를 통해 여러 연구팀이 동시에 경쟁력 있는 모델을 만드는 데 성공했다.

이제 중요한 것은 그 다음이다.

몇 년 뒤에도 Motif, Upstage, SKT, LG와 또 다른 한국 기업들이 정부 프로젝트와 관계없이 새로운 모델을 계속 만들어내고 있다면 독파모는 성공했다고 평가할 수 있을 것이다.

반대로 프로젝트가 끝난 뒤 모델 개발도 함께 멈춘다면 잠시 얻었던 세계 3위라는 숫자의 의미는 크게 줄어든다.

결국 중요한 것은 순위가 아니다.

3위라는 숫자를 얻었는지가 아니라, 3위에 계속 있을 수 있는 구조를 만들었는가다.

이 글은 AI의 도움을 받아 초안을 작성하고, 공개 자료를 바탕으로 사람이 검토·수정한 글입니다.