AI 에이전트

잘 고른 문서 몇 개를 처리한 자동화도 실제 업무의 입력과 처리량을 만나면 흔들립니다. 시연에서 생략된 가정과 제한 운영에서 확인할 증거를 구분합니다.

같은 오류를 다시 만나는 실행과 자료를 더 찾으며 전진하는 실행은 중단 기준이 다릅니다. 진척 신호와 호출·시간·비용 한도를 함께 두고, 끝날 때 남길 상태와 인계 정보를 정합니다.

문서를 읽도록 연결한 도구가 수정·삭제까지 허용하면 작은 오판의 영향도 커집니다. 행동의 대상·외부 영향·복구 가능성을 기준으로 위임 범위와 승인 지점을 설계합니다.

조사할 범위가 넓어져도 모든 작업을 동시에 나눌 수 있는 것은 아닙니다. 앞 단계 의존성과 공유 자료를 먼저 구분하고, 위임·중복·검수·통합까지 포함한 분업 비용을 기록합니다.

문의 분류와 답변 초안에 AI를 넣어도 실행 순서는 코드가 정할 수 있습니다. 절차를 고정할 부분과 AI가 다음 행동을 고를 부분을 정확성·추적·비용 기준으로 나눕니다.

원본을 고쳐도 검색에는 옛 청크가 남고, 문서를 지워도 저장된 답변이 다시 나올 수 있습니다. 원본 변경부터 검색 확인까지 버전·삭제·접근 범위를 연결해 관리하는 운영 기준입니다.

문서 번호 한 글자의 차이가 중요한 검색과, 다른 표현으로 같은 뜻을 찾는 검색은 실패하는 지점이 다릅니다. 질의 유형별로 검색 후보를 모으고 정렬하는 방법을 비교합니다.

문장 한 줄을 찾았어도 제목과 예외가 떨어져 있으면 AI가 잘못된 대상에 적용할 수 있습니다. 같은 문서를 나누는 예시로 청크 경계와 출처 정보를 정하는 기준을 살핍니다.

사내 문서를 연결했는데도 AI가 틀린 답을 내놓는다면, 근거가 사라진 지점부터 찾습니다. 같은 질문의 원본 문장, 검색 결과, 모델 입력, 최종 답변을 대조하는 진단 기준입니다.

문서를 한 번 검토하는 일과 개정되는 규정을 여러 직원이 찾아 쓰는 일은 필요한 구성이 다릅니다. 긴 입력, RAG, 미세 조정을 문서량·변경·권한·답변 형식의 조건에 맞춰 비교합니다.

같은 성공률이어도 과제와 실행 방식이 다르면 점수의 의미가 달라집니다. SWE-bench·Terminal-Bench의 비교 조건과 pass@k를 짚고, 자기 저장소에서 쓸 평가 절차와 기록 양식을 제안합니다.

같은 규칙을 다시 설명하고, 같은 작업의 빠진 단계를 고치고, 필요한 자료를 찾지 못하는 문제는 손댈 곳이 다릅니다. 프로젝트 지침·스킬·MCP의 역할과 함께 쓰는 조건을 살펴봅니다.