Terminal-Bench

Terminal-Bench는 AI 에이전트가 터미널에서 여러 단계의 실제 작업을 수행하는 능력을 평가하는 벤치마크입니다. 에이전트는 주어진 환경에서 명령을 실행하고 결과를 확인하며 과제를 해결합니다. 평가는 답변 문장의 그럴듯함보다 작업 결과가 검증 조건을 충족했는지를 보며, 점수에는 모델과 에이전트 실행 구성의 영향이 함께 들어갑니다.

환경 안에서 과제를 수행하는 평가

Terminal-Bench의 최초 발표는 과제별 실행 환경, 사람이 확인한 풀이, 결과 검사 코드를 갖춘 구성을 설명합니다. 에이전트는 파일을 읽거나 프로그램을 실행하고, 오류가 나면 그 결과를 참고해 다음 행동을 정합니다. 한 번에 코드 조각만 생성하는 시험과 달리 여러 명령을 연결해 실제 환경의 상태를 바꾸는 과정이 평가에 포함됩니다.

평가 과제는 소프트웨어 작업 외에도 데이터 분석이나 과학 계산처럼 터미널로 수행할 수 있는 작업을 포함합니다. 명령 이름을 알고 있는지만으로 해결하기 어려운 이유입니다. 도구 사용법을 읽고 입력 자료의 단위를 해석하고 중간 결과를 검증해야 하는 상황이 생깁니다. 모델이 작업을 마쳤다고 말해도 검사 조건을 만족하지 않으면 성공으로 볼 수 없습니다.

모델과 에이전트는 점수에서 구별해 읽습니다. 모델은 다음 행동을 판단하고, 에이전트 구성은 어떤 도구를 보여 주고 명령 결과를 어떻게 전달할지 정합니다. 같은 모델이라도 제공한 도구와 작업 지침, 컨텍스트 관리 방식이 다르면 다른 실행이 됩니다. 발표 자료가 모델 이름만 강조하더라도 실제로 어떤 에이전트와 결합해 측정했는지 확인할 필요가 있습니다.

성공률과 실행 조건의 관계

Terminal-Bench 2.0과 Harbor 발표는 실행 환경과 에이전트를 관리하는 평가 기반을 Harbor로 확장한 배경을 설명합니다. 벤치마크의 과제 집합과 이를 실행하는 하네스는 서로 다른 역할입니다. 과제는 무엇을 해결해야 하는지 정하고, 하네스는 환경을 준비하고 에이전트를 실행하며 결과를 모읍니다. 하네스 설정까지 기록해야 다른 사람이 같은 조건을 구성하기 쉬워집니다.

과제 해결률을 비교할 때는 과제 버전, 사용한 모델과 에이전트, 시간과 자원 제한, 반복 실행 방식을 함께 봅니다. 같은 과제를 여러 차례 실행한 평균과 여러 번 중 한 번이라도 성공한 비율은 다른 지표입니다. 보고서가 어떤 집계법을 썼는지 없이 두 백분율만 나란히 놓으면 능력 차이와 측정 방식의 차이가 섞입니다. 개별 실행 로그는 실패가 어디에서 났는지 해석하는 자료가 됩니다.

벤치마크의 성공은 그 과제에 정의된 검사 조건을 충족했다는 의미입니다. 회사의 실제 저장소나 운영 환경에서 같은 성공률이 나온다는 예측으로 바로 옮길 수는 없습니다. 필요한 권한, 외부 서비스 상태, 입력 데이터, 성공 기준이 달라지기 때문입니다. 도입 검토에서는 공개 점수로 후보를 추린 뒤 실제로 맡길 작업에서도 확인하는 과정을 구분합니다.

버전을 고정해야 하는 이유

2026년 10월 11일 UTC에 확인한 Terminal-Bench 4.0 공지는 시간·CPU·메모리 자원 조정과 과제 수정·제외를 설명합니다. 운영진은 실행 환경이나 과제 집합이 바뀌면 실험을 다시 수행해야 하는 주요 버전 변경으로 다룹니다. 같은 Terminal-Bench 이름을 썼더라도 이전 판의 점수와 새 판의 점수를 같은 시험 결과처럼 직접 비교하면 안 되는 이유입니다.

같은 확인일의 공식 실행 안내는 데이터셋을 terminal-bench/terminal-bench@4.0.0처럼 버전과 함께 지정합니다. 실행에는 Harbor를 사용하고, GPU가 필요한 과제가 있어 이를 제공하는 환경이 필요하다고 안내합니다. 단순히 로컬 터미널에서 명령을 실행할 수 있다는 사실만으로 전체 평가 환경이 갖춰지는 것은 아닙니다. 실행 방법과 자원 조건은 사용하는 판의 안내를 따릅니다.

성능 보고에는 해결률과 함께 비용, 실행 시간, 실패 유형을 남기면 결과의 쓰임이 분명해집니다. 시간 초과와 모델의 잘못된 판단은 같은 실패로 집계될 수 있어도 개선 방법은 다릅니다. 특정 순위가 바뀌었다는 소식에서는 모델 개선뿐 아니라 과제 수정이나 실행 자원 변경이 있었는지도 살핍니다. 비교에 쓴 데이터셋 식별자와 설정이 남아 있어야 나중에 그 점수를 다시 해석할 수 있습니다.