GLOSSARY

OSWorld

중급

이 페이지는 AI 문맥에서 자주 쓰이는 OSWorld의 뜻과 쓰임을 중급 난이도 기준으로 정리한 AI 용어사전 항목입니다. 정의와 맥락, 관련 용어 5개 순서로 묶었으니, 아래 설명을 먼저 읽고 연결된 개념과 글까지 이어서 보면 이해가 빨라집니다.

OSWorld는 멀티모달 AI 에이전트가 실제 데스크톱과 웹 앱을 조작해 컴퓨터 작업을 끝내는지 실행 결과로 채점하는 벤치마크이자 실행 환경입니다. 2024년 4월 공개된 원 논문은 Ubuntu, Windows, macOS 같은 운영체제에서 작업을 준비하고 평가할 수 있는 실제 컴퓨터 환경과, 그 위에서 만든 369개 작업을 함께 제안했습니다. 작업마다 초기 상태 설정과 전용 평가 스크립트가 붙어 있습니다.

실제 컴퓨터 환경과 실행 기반 평가

OSWorld 원 논문은 기존 벤치마크가 상호작용 환경이 없거나 특정 앱과 분야에 갇혀 있어 실제 컴퓨터 사용의 다양성을 반영하지 못한다고 보고 OSWorld를 만들었다고 설명합니다. 369개 작업은 열린 분야의 실제 웹·데스크톱 앱, 운영체제 파일 입출력, 여러 앱을 오가는 작업 흐름을 다루며, 각 작업은 실제 컴퓨터 사용 사례에서 가져왔습니다.

채점은 작업이 끝난 뒤 환경에서 결과를 꺼내 평가 함수로 확인하는 실행 기반 방식입니다. OSWorld 프로젝트 페이지에 따르면 환경은 설정 파일로 작업을 초기화하고, 에이전트가 조작한 뒤 후처리를 하고, 파일과 정보를 가져와 평가 함수를 실행합니다. 같은 페이지의 비교표는 OSWorld의 실행 기반 평가 함수를 134개로 적고 있습니다.

OSWorld 공식 저장소는 이 환경을 가상 머신으로 띄웁니다. 데스크톱이나 노트북에서는 VMware나 VirtualBox를, 가상화된 서버에서는 Docker를 권하고, AWS 같은 클라우드에서는 여러 환경을 병렬로 돌릴 수 있습니다. 에이전트는 --observation_type으로 정한 스크린샷 같은 관찰을 받아 pyautogui 행동 공간으로 화면을 조작하고, 결과 폴더에는 스크린샷, 행동, 녹화 영상이 남습니다.

점수를 해석할 때의 조건

원 논문은 사람이 작업의 72.36% 이상을 해낸 반면 당시 가장 좋은 모델은 12.24% 성공에 그쳤고, 주된 어려움이 GUI 그라운딩과 운영 지식이었다고 보고했습니다. 이 수치는 논문 시점의 원래 369개 작업과 논문이 고른 설정에서 나온 결과입니다. OSWorld-Verified 이후의 점수는 고친 작업과 새 평가 결과를 기준으로 하므로 이 수치와 따로 읽습니다.

공식 저장소의 기본 실행 예시는 관찰 유형을 screenshot, 최대 단계 수를 --max_steps 15로 지정합니다. 프로젝트 페이지의 분석은 스크린샷 해상도가 높을수록 대체로 성능이 오르고, 텍스트로 된 긴 행동 기록은 성능을 높이지만 효율 부담이 따르며, 에이전트가 UI 배치와 잡음에 취약하다고 적었습니다. 같은 모델이라도 스크린샷만 보는지, 접근성 트리를 함께 보는지, 몇 단계까지 허용하는지에 따라 성공률이 바뀔 수 있습니다.

프로젝트 페이지는 Google Drive 관련 8개 작업이 네트워크 문제로 초기화에 실패할 수 있어, 직접 설정해 369개 전체를 돌리거나 8개를 빼고 361개로 평가하는 방법을 모두 인정하고 어느 쪽을 썼는지 밝히라고 안내합니다. 저장소는 Google 계정이나 프록시 설정이 빠지면 해당 작업이 실패해 점수가 낮아진다고 경고합니다.

원래 벤치마크와 OSWorld-Verified의 구분

프로젝트 페이지와 공식 저장소에 따르면 2025년 7월 28일 OSWorld-Verified가 나왔습니다. 커뮤니티가 보고한 예제 오류를 고치고, AWS 병렬 실행으로 평가 시간을 1시간 안으로 줄이고, 벤치마크 결과를 새로 냈습니다. 개발팀은 최신 버전으로 돌린 결과는 새 결과와 비교하라고 안내합니다. 프로젝트 페이지에는 2026년 6월 26일 OSWorld 2.0을 공개했다는 공지도 있습니다.

검증된 리더보드의 결과는 개발팀이 통일된 설정과 환경에서 직접 평가한 값이고, 자체 보고 결과는 따로 모아 둡니다. 공개 평가에 올리려면 에이전트 코드를 개발팀이 직접 돌리도록 맡기고 구현과 보고서를 공개해야 합니다. 페이지는 결과를 범용 모델, 컴퓨터 사용 전용 모델, 여러 모델을 묶은 에이전트 프레임워크로 나눕니다.

모델 발표에서 ‘OSWorld 점수’를 볼 때는 원래 벤치마크인지 OSWorld-Verified나 OSWorld 2.0인지, 검증 결과인지 자체 보고인지, 단일 모델인지 프레임워크인지, 작업 수와 단계 수 제한이 무엇인지를 함께 확인해야 숫자를 비교할 수 있습니다.

RELATED TERMS