AI 생산성 측정 방법: 전체 작업 시간과 품질 비교 양식

초안이 나온 시각과 업무가 끝난 시각은 다릅니다. AI 사용 전후의 입력·완료 조건을 맞추고 준비, 대기, 검수, 재작업을 기록해 실제로 줄어든 시간을 해석하는 방법입니다.

AI가 문서 초안을 빨리 만들었어도 자료를 넣고 사실을 확인한 뒤 승인받기까지의 시간은 따로 남습니다. 처음 결과가 나온 시점에서 시계를 멈추면 이후에 사람이 넘겨받은 일이 측정에서 빠집니다. METR의 2026년 실험 설계 갱신도 과제 선택, 결과 품질 차이, 여러 에이전트와 다른 일을 동시에 하는 상황이 생산성 측정의 해석을 어렵게 만든다고 설명합니다.

측정할 질문은 대상 업무와 완료 조건이 보이도록 좁힙니다. “같은 자료로 승인 가능한 주간보고를 만들 때 사람이 쓰는 시간의 변화”처럼 관측할 대상을 구체적으로 정합니다. 승인까지의 경과시간을 줄이려는 경우라면 대기와 승인 절차도 범위에 포함합니다.

같은 완료물과 품질 기준에서 시계를 멈춥니다

업무의 시작은 요청을 받고 입력 자료를 준비하는 때로, 끝은 사전에 정한 수락 조건을 충족한 때로 정할 수 있습니다. 문서라면 초안 작성 뒤 출처와 수치, 필수 항목, 표현을 확인하고 전달 가능한 파일로 저장하는 단계까지 포함합니다. 실제 업무의 끝이 팀장 승인이라면 승인 시각과 사람의 작업 종료 시각도 각각 남깁니다.

품질 조건은 시간을 보기 전에 적습니다. 회의록은 결정 사항·담당자·기한이 원자료와 맞는지, 보고서는 수치와 근거가 맞고 요구한 항목이 있는지처럼 업무에 필요한 조건을 둡니다. AI 사용 쪽에만 간단한 결과를 허용하거나, 결과를 본 뒤 유리한 평가 항목을 새로 고르면 비교할 완료물이 달라집니다.

시간과 품질을 따로 보는 설계의 예는 Noy·Zhang의 2023년 3월 2일 심사 전 작업논문에도 있습니다. 연구는 직무에 맞춘 글쓰기 과제를 부여하고, 시간과 별개로 같은 직종의 전문가가 작성 조건을 모른 채 결과의 품질을 평가하게 했습니다. 여기서 참고할 부분은 평가를 나누는 방법이며, 짧은 글쓰기 과제의 효과를 모든 사무업무에 옮기는 것은 별도 검증입니다.

실제 파일을 비교할 때도 가능한 범위에서 AI 사용 여부와 소요 시간을 가린 채 같은 기준으로 검수할 수 있습니다. 다만 문체나 파일 기록으로 사용 조건이 드러날 수 있으므로 완전히 가렸다고 자동으로 간주하지 않습니다. 검수자가 무엇을 알고 있었는지도 관측 조건으로 남깁니다.

사람의 활동 시간과 전체 경과시간을 나눕니다

사람의 활동 시간은 자료 준비, 직접 작성·요청 전송, 출력 확인, 사실 검수와 수정을 실제로 한 구간의 합입니다. 모델이 작동한 시간, 사용자가 화면을 열어 둔 시간과 각각 다릅니다. 여러 사람이 검수했다면 각 사람의 활동 시간을 합산하고 인원도 적습니다.

전체 경과시간은 같은 업무의 시작부터 수락 조건 충족 또는 승인까지 흐른 시간입니다. 모델을 기다리는 시간, 다른 업무를 하는 동안의 대기, 승인 대기가 포함될 수 있습니다. 사람의 활동 시간이 줄어도 대기가 늘면 납기는 늦어질 수 있습니다.

구간마다 시작·종료 시각, 실제 활동, 대기라면 다른 일을 할 수 있었는지를 적습니다. 모델이 돌아가는 동안 결과를 계속 지켜봤다면 사람의 확인 시간이 생깁니다. 그 구간을 모델 실행시간과 사람의 시간에 각각 기록할 수는 있어도, 두 값을 더해 전체 경과시간으로 만들지는 않습니다.

다음은 실제 측정 전 복사해 사용할 관측 양식입니다. 두 실행은 같은 과제를 기억해 재풀이하는 방식 대신, 아래 절에서 설명하는 비슷한 난도의 과제 배정을 전제로 합니다.

기록 항목	AI 미사용 실행의 기록	AI 사용 실행의 기록	함께 남길 조건
과제·입력·완료 조건	과제 ID, 원자료 버전, 수락 기준	과제 ID, 원자료 버전, 수락 기준	업무 종류·난도·누락 자료
실행 환경	작성자, 도구, 업무 경험	작성자, 도구·모델·설정, 사용 경험	허용한 검색·참조 자료
시간 구간	준비·작성·검수·수정의 시작과 끝	준비·요청·대기·검수·수정의 시작과 끝	활동과 대기, 동시 작업 표시
완료 시각·품질	파일·판정·승인 시각	파일·판정·승인 시각	같은 기준, 검수자·인지 조건
실패·중단	사유·투입 시간·미완료 범위	사유·투입 시간·미완료 범위	제한시간·환경 장애·제외 이유
후속 오류·추가 수정	확인 기간·오류·수정 시간	확인 기간·오류·수정 시간	같은 후속 관찰 기간
증거 위치	작업 파일·구간 기록·판정표	원본 출력·대화·작업 파일·판정표	민감정보를 제외한 보관 경로

이 표의 칸은 기록할 항목이며 실행 결과가 채워진 상태가 아닙니다. 시간 기록을 잊은 구간은 추정과 관측을 구별해 표시합니다. 작성자가 느낀 절감 시간도 별도 응답으로 남길 수 있지만, 구간별 기록을 대신하지는 않습니다.

난도와 순서가 결과를 대신 설명하지 않게 합니다

같은 보고서를 먼저 사람이 쓰고 나중에 AI로 다시 쓰면 두 번째 실행은 내용을 이미 알고 시작합니다. 반대 순서에서는 AI가 제시한 구조를 기억한 채 사람이 쓸 수도 있습니다. 반복 과제의 학습 효과를 줄이려면 업무 종류와 입력 분량, 누락 자료, 수정 요구가 비슷한 과제 묶음을 준비합니다.

어느 과제를 AI 허용 조건으로 보낼지 결과를 보기 전에 정합니다. 가능한 경우에는 비슷한 난도 안에서 무작위로 배정하고, 사람이 여러 과제를 맡을 때는 실행 순서도 섞습니다. METR의 2025년 연구 방법은 개발자가 제시한 실제 저장소 이슈를 AI 허용·금지 조건에 무작위 배정한 사례입니다. 그 연구의 결과는 당시 도구와 숙련된 개발자의 특정 환경에 관한 과거 기록입니다.

업무 실험에는 도구를 배우는 기간도 들어갑니다. 처음 설정과 교육에 쓴 시간은 일회성 준비로 따로 기록하고, 초기 적응 중인 실행과 익숙해진 뒤의 실행을 구분합니다. 도구·모델·규칙이 바뀌면 변경 전후를 같은 조건처럼 묶지 않습니다.

AI가 잘할 것 같은 업무만 신청받으면 적용할 전체 업무와 표본이 달라집니다. METR는 2026년 설계 갱신에서 참가자가 AI 없이 하기 싫은 과제를 제출하지 않는 선택 문제를 다뤘습니다. 관측에서도 후보로 잡은 업무 목록, 제외한 업무와 이유를 함께 남기면 어디까지 결과를 넓힐지 판단하기 쉽습니다.

AI 사용 쪽에서만 원자료를 더 잘 정리했다면 도구와 입력 정리의 효과가 함께 섞입니다. 실제 도입 공정 전체를 비교하려는 경우에는 그 차이도 포함한 결과로 읽을 수 있습니다. 모델만의 영향을 알고 싶은 실험에서는 제공한 자료와 허용한 보조 작업을 더 엄격하게 맞춥니다.

시간 절감률의 분모와 실패를 함께 공개합니다

다음 계산은 가상 예시입니다. 같은 품질 조건을 통과한 문서 한 건에 대해 AI 미사용의 사람 활동 시간이 준비 10분, 작성 40분, 검수 20분, 수정 10분으로 총 80분이라고 가정합니다. AI 사용은 준비 15분, 요청·작성 10분, 검수 20분, 수정 15분으로 총 60분이라고 가정합니다.

이때 사람 활동 시간의 차이는 80분 - 60분 = 20분이며, 미사용 시간을 분모로 둔 절감률은 20분 ÷ 80분 × 100 = 25%입니다. AI 사용에서 추가로 25분의 겹치지 않는 대기가 있었고 미사용에는 대기가 없었다면, 전체 경과시간은 각각 85분과 80분입니다. 사람의 작업은 20분 줄고 완료 시각은 5분 늦어진 가상 조건입니다.

관측을 합산할 때는 무엇을 비교했는지 이름을 붙입니다. 과제 묶음 전체의 사람 활동 시간 차이를 구하려면 각 조건의 합계를 비교하고, 평균 과제당 시간을 구하려면 해당 조건의 과제 수로 나눕니다. 개별 과제의 절감률을 평균낸 값과 총시간의 절감률은 과제별 길이가 다르면 달라질 수 있습니다.

실패나 시간제한에 걸린 실행도 투입 시간과 결과를 남깁니다. 완료한 실행만 남긴 빠른 평균은 완료율이 낮은 방법의 부담을 가릴 수 있습니다. ‘완료 건수/시도 건수’, 미완료 사유, 조건별 투입 시간과 완성품 품질을 나란히 제시하면 실패에 든 시간을 읽을 수 있습니다. 품질 미달 결과의 시간을 같은 품질 완료물의 시간 절감률에 바로 섞지 않습니다.

처음에는 통과했으나 나중에 사실 오류나 누락이 발견되면 후속 수정 시간을 별도 기록하고 원래 과제에 연결합니다. 관찰 기간이 한쪽은 하루, 다른 쪽은 한 달이면 발견할 기회부터 달라집니다. 비교 전에 같은 후속 확인 기간을 정하고, 그 기간 밖에서 발견한 문제도 날짜와 함께 남깁니다.

작은 관측에서 적용 범위를 천천히 넓힙니다

짧은 실험에서는 평균과 함께 과제별 값, 중앙값, 긴 지연이 생긴 사례를 봅니다. 몇 건에서 잘됐다는 사실과 반복 업무 전체에서 안정적이라는 판단은 다릅니다. 한 사람이 수행한 열 개의 과제도 작업자 열 명에게서 얻은 독립된 결과 열 개처럼 취급하지 않습니다.

줄어든 단계와 늘어난 단계를 나누면 다음 실험의 대상이 보입니다. 초안 작성은 줄었지만 사실 검수가 늘었다면 자료의 출처를 함께 받는 입력 방식이나 검수 절차를 바꾸어 다시 관측할 수 있습니다. 이 변경 뒤의 결과는 변경한 공정의 기록으로 남깁니다.

도입을 넓힐 때는 문서 종류, 담당자의 숙련도, 자료 상태와 마감 조건이 다른 작업을 추가합니다. 실제 반복 업무를 고르는 출발점으로 직장인 업무 프롬프트 30종의 메일·보고·회의·데이터 작업을 나누어 볼 수 있습니다. 프롬프트가 있다는 사실만으로 해당 업무의 시간 절감이 확인된 것은 아닙니다.

관측 결과에는 해당 업무와 기간, 도구·모델, 인원과 과제 수, 품질 기준, 두 종류의 시간과 미완료 범위를 함께 적는 편이 좋습니다. 그 기록에서 절감이 반복되는 조건을 찾아 다음 적용 대상을 정합니다. 회사 전체의 생산성이나 인력 감축 효과는 그보다 넓은 별도 측정이 필요한 질문입니다.

자료 확인 기준: 2026년 10월 27일. 관측 양식은 실행 전 제안이고 시간·절감률 예시는 가상 값입니다.

코딩 업무의 평가 조건을 더 구체적으로 정할 때

블로그바이브 코딩 AI 에이전트