SWE-bench 완전 정복 — GitHub 이슈를 스스로 해결하는 AI의 실전 코딩력
안녕하세요! 재니미입니다.
요즘 새로운 AI 모델이 나올 때마다 뉴스나 발표 자료에 빠지지 않고 등장하는 단어가 있습니다. 바로 ‘SWE-bench’(스위벤치)입니다.
“우리 모델이 코딩을 제일 잘한다”라고 자랑하는 글로벌 AI 기업들이 전부 이 시험 성적표를 들고나와 1등이라고 외치는데요. 도대체 이게 무슨 시험이길래 전 세계 내로라하는 연구소들이 목을 매는 걸까요?
기존 코딩 시험과 비교하면 차이가 단번에 와닿습니다.
- 기존 코딩 시험(HumanEval 등): 조용한 시험장에서 알고리즘 주관식 1~2문제 풀기
- SWE-bench: 출근 첫날, 남들이 수년간 짜둔 수만 줄짜리 회사 소스코드에 던져져서 실제 고객이 접수한 버그 신고서를 보고 혼자 고친 뒤 퇴근하기
결론부터 말씀드리면, SWE-bench는 인위적인 시험 문제가 아니라 실제 GitHub 오픈소스에서 일어났던 ’진짜 버그’를 AI 혼자서 고칠 수 있는지를 채점하는 실전 시험입니다.
이번 글에서는 이 시험이 어떻게 치러지는지, 세대별(Lite, Verified, Pro)로 무엇이 다른지, 그리고 요즘 잘나간다는 모델들의 실제 성적표를 알기 쉽게 정리해 보았습니다.
1. SWE-bench는 도대체 어떤 시험일까?
SWE-bench는 프린스턴 대학교 연구진이 만든 실제 소프트웨어 개발 능력 측정 벤치마크입니다.
문제를 사람이 인위적으로 지어내지 않았습니다. Django, SymPy, scikit-learn, matplotlib처럼 전 세계 수백만 개발자가 매일 쓰는 유명 Python 오픈소스 프로젝트에서 실제로 등록되었던 버그 신고서(Issue)와, 이를 사람이 해결했던 수정 내역(PR)을 그대로 가져와 문제로 만들었습니다.
flowchart LR
A["실제 버그 신고서<br>(GitHub 이슈)"] --> B["AI 에이전트<br>(수만 줄 코드 읽고 원인 찾기)"]
B --> C["수정 코드(패치) 작성"]
C --> D{"자동 검사 실행<br>(1. 버그가 고쳐졌는가?<br>2. 딴 게 망가지진 않았는가?)"}
D -- "둘 다 통과" --> E["✅ 합격 (해결)"]
D -- "하나라도 실패" --> F["❌ 불합격 (0점)"]
시험은 이렇게 진행됩니다
- AI에게 실제 GitHub 이슈 텍스트와 프로젝트 전체 파일들을 통째로 넘겨줍니다.
- AI는 수만 줄의 소스코드를 혼자 검색하고 열어보며 어디서 버그가 났는지 추적합니다.
- 원인을 찾으면 수정된 코드(패치)를 작성합니다.
- 격리된 가상 환경에서 이 패치를 적용한 뒤, 두 가지 자동 검사를 돌립니다.
- 첫째, 신고된 버그가 정말 깔끔하게 고쳐졌는가? (기존에 실패하던 테스트가 성공해야 함)
- 둘째, 버그 고치겠다고 건드린 코드 때문에 멀쩡하던 다른 기능이 망가지지 않았는가? (기존의 다른 모든 테스트도 100% 통과해야 함)
- 이 두 가지를 완벽하게 통과해야만 1문제를 푼 것으로 인정합니다. 버그는 고쳤는데 다른 기능이 하나라도 깨지면 가차 없이 0점 처리됩니다. 회사에서 버그 하나 고치려다 다른 서버 기능을 다운시키면 혼나는 것과 똑같습니다.
2. Lite, Verified, Pro: 무엇이 다를까?
AI 모델들이 시험 문제를 통째로 외우거나 너무 빨리 똑똑해지다 보니, SWE-bench도 버전을 계속 업그레이드해 왔습니다.
| 버전 | 문제 수 | 특징 | 체감 난이도 |
|---|---|---|---|
| SWE-bench (오리지널) | 2,294개 | 2023년 말 나온 최초 버전. 문제 수는 많지만 원본 오픈소스의 테스트 코드 자체에 오류가 섞여 있어 잡음이 있었음 | 보통 |
| SWE-bench Lite | 300개 | 평가 비용과 시간을 아끼기 위해 혼자서도 빠르게 풀 수 있는 대표 문제 300개만 추린 압축판 | 보통 |
| SWE-bench Verified | 500개 | 사람 개발자들이 2,294문제를 전수 검사하여, 문제 설명이 명확하고 테스트 코드에 오류가 없는 알짜배기만 엄선한 현재의 표준 | 어려움 |
| SWE-bench Pro | 가변 확장 | 파일 하나 고치는 수준을 넘어 여러 라이브러리 간의 꼬인 의존성, 복잡한 시스템 설정까지 건드려야 하는 최신 고난도 시험 | 매우 어려움 |
따라서 뉴스나 블로그에서 “우리 AI가 SWE-bench 90%를 넘었다”라고 할 때, 그게 Verified인지 Pro인지 꼭 확인해야 합니다. Verified에서 90점을 맞는 우등생 모델도 고난도인 Pro 시험장에 들어가면 70~80점대로 점수가 뚝 떨어집니다.
3. 최신 AI 모델들의 실제 성적표
2026년 하반기 기준, 주요 프론티어 모델들이 코딩 도구를 손에 쥐고 자율적으로 문제를 풀었을 때 받은 성적표입니다.
| 기업 | 모델명 | 특징 | Verified 점수 | Pro 점수 | 1M 토큰당 비용 (입력/출력) |
|---|---|---|---|---|---|
| OpenAI | GPT-6 Astra | 차세대 최고사양 플래그십 | 93.8% | 91.4% | $10.00 / $50.00 |
| Anthropic | Claude Opus 5.5 | 복잡한 코딩을 끝까지 물고 늘어지는 에이전트 | 92.5% | 89.9% | $4.00 / $20.00 |
| DeepSeek | DeepSeek V4 Pro | 오픈소스 계열 최고의 가성비 모델 | 89.0% | 86.2% | $0.66 / $1.98 (할인시간대) |
| OpenAI | o3 (Reasoning) | 깊이 생각하는 수학/알고리즘 특화 모델 | 88.5% | 84.6% | $2.00 / $8.00 |
| Alibaba | Qwen 3.8-Max | 긴 문맥 처리에 강한 대형 모델 | 87.2% | 84.1% | $2.00 / $6.00 |
| OpenAI | GPT-6.1 Sol | 기업용 실시간 고효율 코딩 모델 | 86.8% | 83.0% | $2.00 / $10.00 |
| Anthropic | Claude Sonnet 5.5 | 개발자들이 가장 많이 쓰는 표준 코딩 모델 | 85.0% | 81.3% | $2.00 / $10.00 |
| Gemini 4 Argon | 구글의 최상위 멀티모달 플래그십 | 85.5% | 82.5% | $2.00 / $10.00 |
최상위 모델들의 경우 실제 개발자가 몇 시간씩 매달려야 하는 버그 10개 중 8~9개를 혼자서 힘으로 풀어내고 있습니다.
4. 성적표 숫자를 볼 때 조심해야 할 점
점수가 높다고 해서 “이제 사람 개발자는 필요 없겠네”라고 생각하면 오산입니다. 이 점수 뒤에는 몇 가지 함정이 숨어 있습니다.
① 모델 머리뿐만 아니라 ‘도구(하네스)’ 빨이 큽니다
똑같은 모델이라도 어떤 도구를 쥐여주느냐에 따라 점수가 15~20점씩 요동칩니다.
- 코드를 검색할 때 파일 전체를 다 읽게 하는가, 똑똑하게 키워드만 찾게 하는가?
- 테스트가 실패했을 때 코드를 롤백하고 다른 방법으로 다시 시도하는 시스템이 갖춰져 있는가?
“우리 모델이 85점이다”라는 말은 모델 자체의 성능뿐만 아니라 검색 도구와 자동 재시도 장치(하네스)를 최적화해 함께 돌렸을 때의 결과로 보아야 합니다.
② 문제지가 유출되었을 가능성 (데이터 오염)
인터넷에 공개된 오픈소스 코드로 시험을 보다 보니, AI가 학습하는 과정에서 이미 해당 버그의 정답 PR을 읽어보고 시험장에 들어갔을 가능성이 늘 존재합니다. 데이터 오염(Data Contamination)으로 인한 점수 왜곡 가능성이 항상 존재합니다.
③ ‘Python’ 세상의 이야기입니다
현재 SWE-bench 문제의 대부분은 Python 프로젝트에 몰려 있습니다. 실제 기업에서 많이 쓰는 무거운 Java 스프링 레거시 시스템, C/C++ 임베디드 코드, 복잡한 웹 프론트엔드 환경에 가져다 놓으면 체감 실력이 이 점수만큼 나오지 않을 수 있습니다.
5. 작업 목적에 맞는 모델 고르기
사내에서 코딩 에이전트 도구를 도입하거나 직접 구축하려 한다면 다음 기준으로 선택하는 것이 실용적입니다.
- 사람 손을 거의 안 타고 복잡한 프로젝트를 혼자 밤새 고쳐야 할 때:
Claude Opus 5.5나 GPT-6 Astra 같은 최상위 플래그십 모델이 제값을 합니다. 파일 수십 개가 얽힌 버그에서도 딴 데를 망가뜨리지 않고 정확하게 고쳐냅니다. - 개발자가 옆에서 실시간으로 대화하며 페어 프로그래밍할 때:
Claude Sonnet 5.5가 가장 무난하고 쾌적합니다. 응답 속도가 빠르고 캐싱 비용이 저렴해서 대화가 끊기지 않습니다. - 서버에 직접 얹어 돌리거나 비용을 획기적으로 아껴야 할 때:
DeepSeek V4 Pro가 훌륭한 선택지입니다. 플래그십 1/10 수준의 비용으로 상위 80% 이상의 해결력을 보여줍니다.
다음 편 예고
그런데 코딩을 잘해서 소스코드만 고친다고 일이 끝날까요?
실제 개발자는 터미널 쉘에 들어가서 도커 컨테이너를 띄우고, 패키지를 설치하고, 서버 로그를 확인하며 배포까지 마쳐야 합니다.
이어지는 2편 「Terminal-Bench 4.0 완전 정복 — 리눅스 셸과 CLI를 장악한 AI 에이전트들」에서는 코드가 아니라 리눅스 터미널 명령어와 시스템 제어 능력을 전문적으로 채점하는 벤치마크, Terminal-Bench 4.0을 살펴보겠습니다. 터미널 환경에서는 왜 엉뚱하게 다른 모델들이 강세를 보이는지 그 흥미로운 이유를 다뤄보겠습니다.