안녕하세요! 재니미입니다.

“AI가 의사 국가고시도 붙고, 미국 변호사 시험도 상위 1%로 통과했다.”

한 번쯤 들어보셨을 뉴스 헤드라인입니다. 그런데 이런 기사를 보면서 *“그렇게 똑똑하다는 AI가 왜 회사나 연구실에서 복잡한 업무를 시키면 엉뚱한 헛소리(환각)를 할까?”*라는 의문을 가져보신 적이 있으실 겁니다.

비밀은 ’암기력’에 있었습니다. 기존의 상식·객관식 시험(MMLU 등)들은 인터넷에 이미 정답과 해설 족보가 너무 많이 공개되어 있어서, AI가 문제를 이해해서 풀었다기보다 방대한 데이터를 통째로 외워서 맞힌 측면이 컸기 때문입니다.

결론부터 말씀드리면, AI의 단순 암기력을 원천 차단하고 순수한 과학적 사고력과 논리 추론 체력만을 발라내기 위해 만든 시험이 바로 GPQA(Google-Proof Q&A)입니다. 이름 그대로 ’구글 검색으로 절대 정답을 찾을 수 없는 시험’이라는 뜻입니다.

지난 2편 「Terminal-Bench 4.0 완전 정복 — 리눅스 셸과 CLI를 장악한 AI 에이전트들」에서 다룬 것처럼 시스템 명령어를 다루는 손발의 실력도 중요하지만, 결국 가장 어려운 문제를 뚫어내는 것은 모델의 순수한 ’두뇌 지능’입니다.

이번 글에서는 GPQA가 왜 현대 AI의 진짜 지능을 가늠하는 척도가 되었는지, 그리고 최상위 다이아몬드(Diamond) 시험장에서 펼쳐지는 프론티어 모델들의 성적표를 알기 쉽게 정리해 보았습니다.

---

1. GPQA는 도대체 어떤 시험일까?

GPQA는 뉴욕대학교(NYU)를 비롯한 최고 권위의 연구진들이 만든 생물학, 물리학, 화학 분야의 박사(Ph.D.)급 4지선다 벤치마크입니다.

이 시험이 악명 높은 이유는 세 가지 엄격한 출제 원칙 때문입니다.

1. 검색 차단 (Google-Proof):
   인터넷 검색창에 문제 키워드를 복사해서 붙여넣었을 때 바로 답이나 힌트가 나오는 형태의 문제는 전부 탈락시켰습니다.
2. 비전문가의 한계 검증:
   해당 분야를 전공하지 않은 일반인(대학 졸업자 수준)에게 **구글 검색을 30분 동안 마음껏 허용하며 문제를 풀게 해도 정답률이 34%**에 불과했습니다. 4지선다형이라 그냥 찍어도 25%가 나오는데, 검색을 30분씩 쥐여줘도 34%밖에 안 나온다는 것은 웹 서핑으로는 절대 답을 낼 수 없다는 뜻입니다.
3. 박사 2인의 교차 검증:
   해당 전공의 다른 박사 연구원 2명이 문제를 따로 풀어보고, 문제에 오류가 없고 정답과 해설이 완벽하다고 만장일치로 동의한 문제만 살아남았습니다.

flowchart LR
    A["박사급 전문가가 출제<br>(물리/화학/생물)"] --> B["웹 검색 30분 허용 검증<br>(비전문가 정답률 34% 확인)"]
    B --> C["동료 박사 2인의 교차 검증<br>(정답 및 해설 만장일치 통과)"]
    C --> D["GPQA 전체 448문항"]
    D --> E["최고 난이도 엄선 (198문항)<br>⭐ GPQA Diamond ⭐"]

이 중에서도 논란의 여지가 전혀 없고 난이도가 가장 높은 198개 문제를 추려낸 것이 바로 오늘날 모든 AI 기업들이 성적표로 들고나오는 ’GPQA Diamond’입니다.

---

2. 최신 모델별 GPQA Diamond 성적표

2026년 하반기 기준, 주요 프론티어 모델들이 사람이 30분 동안 검색해도 못 푸는 박사급 과학 문제를 두고 겨룬 결과입니다.

기업	모델명	특징	GPQA Diamond 점수	추론 강점
OpenAI	GPT-6 Astra	차세대 최고사양 플래그십	96.8%	박사급 이론 물리학 및 양자역학 다단계 계산 완벽 소화
Anthropic	Claude Fable 5.1	심층 과학 연구 특화 모델	96.4%	생물정보학 및 복합 유전체 논리 연쇄에서 압도적 정합성
Anthropic	Claude Sonnet 5.5	고속 실시간 코딩/추론 모델	95.6%	생각 시간(Thinking Budget) 조절로 높은 가성비 정밀 추론
Anthropic	Claude Opus 5.5	자율 에이전트 플래그십	95.2%	긴 생각의 고리(CoT)에서도 흔들리지 않는 안정성
OpenAI	o3 (Reasoning)	고난도 추론 전용 모델	94.8%	강화학습 기반 추론으로 수학/물리 계산에서 강세
DeepSeek	DeepSeek V4 Pro	오픈웨이트 심층 추론 모델	94.1%	상용 플래그십 1/10 가격으로 94% 돌파 (가성비 1위)
Google	Gemini 4 Argon	대용량 멀티모달 플래그십	93.0%	화학 분자 구조 및 멀티모달 그래프 분석에서 강점
Alibaba	Qwen 3.8-Max	1M 컨텍스트 플래그십	92.8%	오픈웨이트 계열 중 기초 과학 추론 최상위권

대다수의 상위권 모델들이 이미 90% 중반대를 기록하며, 웬만한 분야의 박사 학위 소지자보다 과학 문제를 더 정확하게 풀어내고 있습니다.

---

3. 과학 추론 점수가 실제 시스템 구축에 중요한 이유

“우리는 바이오 연구소도 아니고 물리학 회사도 아닌데, GPQA 점수가 왜 중요한가요?“라는 질문을 종종 받습니다.

하지만 소프트웨어 엔지니어링과 기업 비즈니스 관점에서도 GPQA 점수는 대단히 결정적인 의미를 갖습니다.

① 꼬이고 꼬인 비즈니스 조건문을 끝까지 추적하는 힘

GPQA 문제는 단순히 공식을 외워 대입하는 문제가 아닙니다. “A 조건이 참일 때 B가 발생하고, 그로 인해 C 상태가 변하면 최종적으로 D 물질은 어떻게 반응하는가?“처럼 4~5단계 이상의 논리적 징검다리를 건너야 합니다.
업무에서 금융 약관, 복잡한 법률 규제, 수십 개의 조건문이 얽힌 데이터베이스 트랜잭션 정책을 해석할 때, 모델이 중간에 삼천포로 빠지지 않는 체력이 바로 이 다단계 논리 연쇄(Multi-hop Reasoning) 능력에서 나옵니다.

② 할루시네이션(환각과 거짓말)의 억제력

GPQA에서 95점 이상을 받는 모델들은 문제를 풀 때 “자신이 모르는 부분”과 “논리적 비약”을 스스로 감지하는 능력이 매우 뛰어납니다. 기업용 보고서를 쓰거나 데이터 분석 코드를 짤 때 그럴듯하게 지어내는 거짓말을 할 확률이 현저히 낮아집니다.

③ 가성비 모델(DeepSeek)의 약진

1M 토큰당 1달러도 안 되는 비용의 오픈웨이트 모델인 DeepSeek V4 Pro가 94.1%를 찍었다는 점은 대단히 상징적입니다. 비싼 클라우드 API를 쓰지 않고 사내 자체 서버를 구축하더라도 인간 박사급의 논리 추론 엔진을 24시간 가동할 수 있게 되었음을 뜻합니다.

---

다음 편 예고

그런데 GPQA마저 프론티어 모델들이 95%를 넘기며 졸업해 버리자, 학계에서는 새로운 고민에 빠졌습니다. “이제 AI를 시험할 문제가 다 떨어졌다.”

그래서 전 세계 수백 명의 석학들이 모여 **“현존하는 어떤 AI도 100점을 맞을 수 없도록 작정하고 만든 궁극의 난제 집합체”**를 새로 발표했습니다.

이어지는 4편 「HLE 완전 정복 — 모든 AI를 좌절시키기 위해 만든 인류 최후의 시험」에서는 AI 지능의 한계선이라 불리는 **인류 최후의 시험, HLE (Humanity’s Last Exam)**를 집중 분석해 보겠습니다.