AI가 작성한 테스트는 무엇을 검증하고 있을까

배송비 함수를 AI로 만들고 테스트까지 받았는데, 주문액이 정확히 5만 원일 때만 배송비가 붙는 오류가 남습니다. 함수와 테스트가 모두 ‘5만 원 초과’를 기준으로 계산했다면 같은 오류를 공유합니다. Playwright의 테스트 원칙도 사용자가 관찰하는 동작을 검증하고 구현 세부사항에 기대지 않도록 권고합니다.

AI 생성 테스트를 검토할 때는 테스트 이름과 개수에 앞서 기대값의 근거를 읽습니다. ‘지금 함수가 돌려주는 값’과 ‘합의한 요구사항이 정한 값’이 같아 보이는 동안에는 이 차이가 잘 드러나지 않습니다.

기대값을 만들기 전에 확정할 요구사항

‘5만 원 이상 무료배송’에는 기준 금액을 할인 전후 중 어디에서 계산하는지, 부가 비용을 포함하는지, 어떤 배송 지역에 적용하는지가 빠져 있습니다. 이 조건이 정해지지 않은 상태에서 AI가 만든 기대값은 작성 과정에서 보탠 가정입니다. 누가 선택했는지 모르는 가정을 테스트로 굳히면 기능을 고칠 때도 무엇이 맞는지 판단하기 어렵습니다.

설명용 가상 쇼핑몰의 규칙을 다음처럼 고정합니다. 입력은 할인 뒤 상품 합계이며 원 단위의 0 이상 정수입니다. 50,000원 이상이면 배송비는 0원, 그 미만이면 3,000원입니다. 문자열·소수·음수·유한하지 않은 숫자는 오류로 거부합니다. 지역 할증과 회원 등급은 이 함수의 범위에서 제외합니다.

정한 규칙으로 정상값의 기대 결과를 함수 실행 없이 계산할 수 있습니다. 40,000원에는 3,000원, 50,000원에는 0원입니다. 잘못된 입력은 배송비를 매기기 전에 거부한다는 실패 조건도 생깁니다. 오류 종류와 화면에 보여 줄 문구까지 계약에 필요하다면 따로 확정합니다.

요구사항과 테스트를 연결할 때는 규칙 한 줄에 검사 하나를 기계적으로 맞추지 않습니다. 무료배송 규칙에는 경계 바로 아래와 경계값이 모두 필요하고, 잘못된 입력 규칙에는 자료형·범위·유한성을 서로 나눈 사례가 필요합니다. 여러 조건이 결합된 할인은 조건 조합별 결과를 먼저 적는 편이 검토하기 쉽습니다.

같은 계산식을 복사하면 오류도 함께 통과한다

아래 코드는 방금 정한 규칙의 경계를 잘못 구현한 예시입니다. 첫 테스트의 기대값도 같은 비교식을 사용하므로 50,000원에서 오류를 놓칩니다. 둘째 테스트는 요구사항에서 확정한 0원을 직접 기대값으로 사용합니다.

import assert from 'node:assert/strict';

function shippingFee(subtotal) {
  return subtotal > 50000 ? 0 : 3000;
}

const subtotal = 50000;

// 구현과 같은 계산을 기대값에 복사한 검사: 통과
assert.equal(shippingFee(subtotal), subtotal > 50000 ? 0 : 3000);

// 요구사항의 "50,000원 이상"을 검사: 실패
assert.equal(shippingFee(50000), 0);

2026년 10월 28일 UTC에 Windows·Node.js v24.19.0에서 이 가상 함수의 두 검사를 실행했습니다. 같은 식을 복사한 검사는 통과했고, 기대값을 0원으로 둔 검사는 실제 반환값 3,000원 때문에 실패했습니다. 저장된 실행 기록은 이 작은 예시를 확인한 것이며 실제 쇼핑몰의 품질 평가가 아닙니다.

기대값의 계산식도 명세에서 직접 나올 수 있습니다. 환율·세율처럼 명세가 수식으로 정해진 기능은 수식 자체가 요구사항입니다. 다만 테스트가 운영 코드의 보조 함수를 다시 호출해 답을 만들거나, 같은 분기문을 그대로 옮겼다면 별도의 근거로 계산한 대표값을 함께 둡니다. 같은 계산 경로만 비교하면 그 경로의 공통 오류를 찾기 어렵습니다.

내부 호출 횟수 검사가 필요한 경우도 있습니다. 외부 결제 호출을 한 번으로 제한하는 계약이라면 호출 횟수가 관찰할 결과가 됩니다. 단순히 현재 함수가 보조 함수를 두 번 부른다는 이유로 그 횟수를 고정하면, 동작을 유지한 리팩터링에도 테스트가 깨집니다. 검사가 지키려는 약속을 설명할 수 있는지가 판단 기준입니다.

정상값·경계값·잘못된 입력의 관찰값