Google은 9월 1일 Gemini API에 ‘에이전트형 영상 이해’를 추가했다고 발표했습니다. 긴 영상을 일정한 간격으로 전부 읽는 대신, 질문에 맞춰 어느 구간을 어떤 속도로 살필지 모델이 고르는 처리 방식입니다. 발표 당시 적용 대상은 Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash-Lite였고, 동영상 업로드와 YouTube 동영상을 Gemini API에서 처리할 수 있다고 안내했습니다.
이번 변화는 영상 생성 기능이 아닙니다. 이미 있는 영상을 읽고, 필요한 장면·소리·대본을 찾아 답하는 과정에 관한 기능입니다. 따라서 광고 영상을 만든다거나 새 영상을 합성하는 도구와도 역할이 다릅니다. 긴 강의에서 특정 설명이 나온 시점을 찾거나, 몇 시간짜리 녹화에서 드문 장면을 찾아야 하는 개발자에게 더 가까운 변화입니다.
고정 1fps로 훑던 방식에서 질문 중심 탐색으로
기존 정적 처리의 기본값은 초당 한 프레임을 추출해 한 번에 문맥으로 넣는 방식입니다. 짧은 영상에는 단순하고 예측하기 쉽지만, 영상이 길어질수록 프레임과 토큰이 늘어납니다. 반대로 프레임 수를 낮추면 빠르게 지나가는 사건이나 짧은 자막을 놓칠 수 있습니다.
Google의 설명에 따르면 에이전트형 처리는 시각 프레임, 오디오, 자막을 오가며 목표 구간을 검색·스캔·검사합니다. 모델이 전체 영상을 같은 해상도와 같은 속도로 모두 읽는 것이 아니라, 질문에 필요한 신호와 순간을 고르는 구조입니다. Google은 예로 특정 장면을 1초보다 짧은 단위에서 찾기, 여러 시간 길이 녹화에서 한 장면 찾기, 빠르게 일어나는 이상 징후를 더 높은 프레임률로 다시 살피기, 대상 수 세기를 들었습니다.
여기서 ‘스스로’라는 말은 사람이 보지 않아도 항상 올바른 장면을 찾아낸다는 보장은 아닙니다. 프롬프트가 무엇을 묻는지에 따라 탐색 경로가 달라지고, 답을 검토해야 하는 업무라면 결과와 근거 구간을 함께 확인해야 합니다. 이 기능은 영상 전체를 같은 밀도로 처리하는 비용을 줄이는 방법이지, 검수 책임을 대신하는 기능은 아닙니다.
88%·66%·7%는 어떤 수치인가
Google은 표준 영상 분석 벤치마크에서 토큰 사용량을 최대 88%, 분석 비용을 최대 66% 줄이고 품질을 최대 7% 높였다고 밝혔습니다. 이 수치는 모든 영상과 모든 질문에서 같은 비율이 나온다는 사용 요금표나 성능 보장이 아닙니다. 발표문도 특히 10분짜리 사용법 영상, 90분 강의, 수 시간 녹화처럼 긴 영상에서 차이가 크다고 설명합니다.
따라서 실제 비용을 판단할 때는 ‘에이전트형이 더 싸다’는 문장만으로 결정하기 어렵습니다. 영상 길이, 질문의 구체성, 사용하는 모델, 재시도 횟수, 정적 처리와의 정확도 차이를 같은 조건에서 비교해야 합니다. Google은 별도 기능 요금 없이 일반 Gemini API 토큰 가격을 적용한다고 설명했지만, 그 말 역시 총비용이 고정된다는 뜻은 아닙니다.
짧고 빨라야 하면 정적 처리가 남는다
현재 Gemini API 문서는 정적 처리를 짧은 영상과 응답 지연에 민감한 요청, 영상 전체의 프레임 수준 정밀도가 필요한 경우에 맞는 선택지로 안내합니다. 기준으로 든 짧은 영상은 5분 미만입니다. 이런 경우에는 에이전트가 구간을 찾는 과정 자체가 이점보다 대기 시간을 늘릴 수 있습니다.
반대로 긴 영상에서 특정 순간을 찾거나, 문맥상 필요한 부분만 골라 읽는 질문에는 에이전트형 처리가 맞을 가능성이 큽니다. 다만 긴 영상이나 복잡한 프롬프트는 처리 시간이 길어질 수 있어, Google은 스트리밍 또는 백그라운드 실행을 권합니다. 즉 영상 길이만으로 모드를 정하기보다, 답을 얼마나 빨리 받아야 하는지와 영상 전체를 빠짐없이 같은 밀도로 봐야 하는지를 함께 따져야 합니다.
공식 개발자 문서의 현재 지원 목록에는 Gemini 3.8 Flash도 들어 있습니다. 그러나 이 글이 다루는 9월 1일 발표 시점의 목록은 3.7 Flash, 3.6 Flash, 3.5 Flash-Lite 세 모델이었습니다. 출시 발표의 적용 범위와 이후 문서의 지원 범위를 같은 시점의 사실로 섞으면 안 되는 이유입니다.
API에서 확인할 범위
에이전트형 처리는 영상 입력의 processing 값을 agentic으로 정해 요청합니다. 응답에는 처리 호출과 결과가 남으므로, 실제로 해당 모드가 적용됐는지와 진행 상태를 확인할 수 있습니다. 정적 처리는 기본값이므로, 기존 요청이 자동으로 에이전트형으로 바뀌는 것은 아닙니다.
동영상 입력 경로에도 조건이 있습니다. 공식 문서는 공개 YouTube 동영상만 받을 수 있으며 비공개·일부 공개 동영상은 지원하지 않는다고 밝힙니다. 무료 등급에서는 YouTube 동영상을 하루 최대 8시간까지 올릴 수 있고, Gemini 2.5 이후 모델은 요청 하나에 최대 10개 동영상을 받을 수 있습니다. 사내 녹화처럼 공개할 수 없는 영상은 이 YouTube 경로가 아니라 파일 업로드와 별도 접근 통제를 검토해야 합니다.
파일을 직접 넣는 방법에도 등급과 크기 조건이 있습니다. 개발자 문서는 무료 등급 File API의 파일 크기를 2GB, 유료 등급을 20GB로 구분합니다. 이 한도는 분석 정확도와는 별개지만, 긴 원본 영상을 바로 업무에 넣을 수 있는지 판단할 때 먼저 부딪히는 조건입니다. API에서 모드를 바꾸기 전에 영상 보관 위치와 업로드 경로부터 정리해야 하는 이유입니다.
도입 전에 확인할 세 가지
첫째, 질문을 구체적으로 적어야 합니다. ‘이 영상을 요약해 달라’와 ‘계약 해지 조건이 언급된 시점과 발화자를 찾아 달라’는 탐색해야 할 범위가 다릅니다. 둘째, 같은 영상에 정적 처리와 에이전트형 처리를 한 번씩 적용해 답과 사용량을 비교해야 합니다. 공식 벤치마크의 최대치가 자신의 영상에서도 재현되는지는 별개의 문제입니다.
셋째, 결과만 저장하지 말고 어떤 구간을 근거로 삼았는지도 업무 흐름에 남겨야 합니다. 특히 법무 검토, 고객 대응, 안전 점검처럼 답이 후속 판단에 쓰이는 업무에서는 영상 원본과 사람이 검토할 수 있는 기준이 필요합니다. Gemini의 새 기능은 긴 영상을 다루는 선택지를 넓혔지만, 어느 장면을 근거로 결론을 냈는지까지 자동으로 책임져 주지는 않습니다.
Gemini는 긴 영상에서 필요한 구간을 먼저 찾고 그 범위에 계산을 쓰는 선택지를 더했습니다. 긴 영상에서 비용과 맥락을 함께 관리해야 하는 팀이라면, 새 모드를 기본값으로 바꾸기보다 실제 질문과 영상으로 정적 처리와 나란히 비교하는 편이 안전합니다.