시스템 카드 (System Card)

시스템 카드(System Card)는 AI 개발사가 모델을 공개하면서 그 모델의 능력과 한계, 안전성 평가, 배포 판단을 기록해 내놓는 공개 문서입니다. 개발사가 어떤 위험을 어떤 방법으로 시험했고 어떤 완화 조치를 넣었는지가 함께 적힙니다. 오픈AI(OpenAI)의 GPT-4o 시스템 카드에는 외부 레드팀 시험, 위험 범주별 등급, 외부 기관 평가가 들어 있습니다.

시스템 카드에 담기는 평가와 배포 판단

앤트로픽(Anthropic)은 모델 시스템 카드 목록에서 시스템 카드를 Claude 모델의 능력, 안전성 평가, 책임 있는 배포 결정을 기록하는 문서로 설명합니다. 모델별 문서에는 대상 모델과 공개 날짜가 함께 표시됩니다. Claude Sonnet 4와 Opus 4처럼 두 모델을 문서 하나로 묶은 경우도 있어서, 문서와 모델이 늘 하나씩 맞대응하지는 않습니다.

오픈AI의 GPT-4o 시스템 카드는 2024년 8월 8일 자 문서입니다. 모델 소개 뒤에 학습 데이터와 필터링, 위험 식별·평가·완화, 제3자 평가, 사회적 영향 논의가 이어지고, 음성 대 음성 기능을 중심으로 텍스트와 이미지 기능도 평가했다고 밝힙니다. 텍스트와 음성 능력의 사전 학습에는 2023년 10월까지의 데이터를 썼다고 적었습니다.

외부 레드팀 시험에는 29개국 배경에 45개 언어를 쓰는 100명이 넘는 외부 참가자가 2024년 3월 초부터 6월 말까지 네 단계로 참여했습니다. 이들이 만든 자료를 바탕으로 여러 정량 평가가 새로 만들어졌습니다. 문서는 관찰된 위험마다 위험 내용, 적용한 완화 조치, 관련 평가 결과를 짝지어 적습니다. 완화 조치에는 사후 학습으로 모델 행동을 바꾼 것과 배포된 시스템에 특정 생성을 막는 분류기를 넣은 것이 함께 들어 있습니다.

모델 카드와 시스템 카드의 차이

모델 카드 원 논문은 2018년 10월 제출돼 FAT* 2019 학회에 실린 연구로, 학습된 머신러닝 모델에 짧은 문서를 붙여 공개하자고 제안했습니다. 이 문서에는 인종, 지역, 성별 같은 문화·인구 집단과 그 교차 집단별 벤치마크 평가, 의도한 사용 맥락, 평가 절차가 들어갑니다. 저자들은 이미지에서 웃는 얼굴을 찾는 모델과 텍스트에서 유해 댓글을 찾는 모델, 두 지도학습 모델로 예시 카드를 만들었습니다.

모델 카드가 겨냥한 질문은 모델이 어떤 집단과 조건에서 얼마나 잘 작동하고 어디에 쓰기에 맞지 않는지입니다. GPT-4o 시스템 카드는 여기에 위험 판정과 운영 조치를 더합니다. 사이버 보안, CBRN(화학·생물·방사능·핵), 설득, 모델 자율성 네 범주에서 위험 등급을 매기고, 학습 데이터 필터링, 사용 정책 위반 모니터링과 조치 같은 학습·서비스 단계의 대응까지 적습니다.

이번에 확인한 앤트로픽 목록과 GPT-4o 시스템 카드에는 '시스템'이라는 이름이 어디까지 포함하는지 정한 공통 정의나 양식이 나와 있지 않습니다. 어떤 항목이 들어가는지는 회사와 모델마다 다르므로, 두 회사의 시스템 카드를 견줄 때는 항목 이름보다 실제로 무엇을 어떤 조건에서 시험했는지를 맞춰 봐야 합니다.

시스템 카드를 읽을 때 확인할 범위와 한계

GPT-4o 시스템 카드에 기록된 2024년 당시 Preparedness Framework는 높은 위험 기준을 넘은 모델을 완화 조치로 중간 위험까지 낮춘 뒤 배포하도록 했습니다. 오픈AI의 Safety Advisory Group은 완화 전 GPT-4o를 설득 범주에서 중간 위험의 경계, 나머지 범주에서 낮은 위험으로 분류하도록 권고했고, 전체 등급은 가장 높은 범주를 따르므로 중간으로 정해졌습니다. 이 등급은 당시 오픈AI 자체 프레임워크에 따른 회사 안 그룹의 판정이며, 이후의 모든 모델에 같은 등급 체계를 적용한다는 설명이 아닙니다.

외부 검증은 일부 위험에 한정됐습니다. 오픈AI는 텍스트 출력만 배포한 뒤 METR, Apollo Research와 함께 자율 능력과 관련한 핵심 위험을 추가로 검증했습니다. METR는 31개 과제군의 86개 과제에서 GPT-4 대비 이 능력의 의미 있는 증가를 찾지 못했고, Apollo Research는 GPT-4o가 감독 장치를 우회해 목표를 이루는 파국적 기만 행동(scheming)을 할 가능성이 낮다고 봤습니다.

평가 방법의 한계도 같은 문서에 있습니다. 음성 평가는 기존 텍스트 평가를 Voice Engine 같은 TTS 시스템으로 음성으로 바꿔 진행했고, 문서는 평가에서 드러난 오류가 모델 능력 때문일 수도 있고 TTS 변환 실패 때문일 수도 있다고 적었습니다. 정리한 음성 위험은 ChatGPT 인터페이스 경험에 초점을 둔 예시이며 전부를 망라하지 않는다고 밝혔고, 작성 시점에 GPT-4o API의 외부 레드팀 시험은 아직 진행 중이었습니다.