llms.txt

llms.txt는 웹사이트가 대규모 언어 모델(LLM, Large Language Model)에게 사이트의 핵심 콘텐츠와 구조를 마크다운으로 안내하는 제안 표준입니다. 사이트 최상위에 llms.txt 파일 하나를 두고, 중요한 페이지의 링크와 짧은 설명을 정리해 AI가 길을 찾기 쉽게 만듭니다. 제러미 하워드가 이끄는 Answer.AI가 2024년 9월 3일 제안했습니다. 정식 인터넷 표준으로 승인된 규격이 아니라, 업계가 자율적으로 따라보는 약속 단계입니다.

이 표준이 나온 배경은 컨텍스트 윈도우의 한계입니다. AI는 한 번에 처리할 수 있는 글의 양이 정해져 있는데, 보통의 웹페이지는 광고와 메뉴, 자바스크립트가 뒤섞여 있어 정작 핵심 내용을 가려내기 어렵습니다. 사람 눈에는 깔끔해 보여도, AI가 읽을 때는 군더더기 때문에 진짜 중요한 문장을 놓치기 쉽습니다. llms.txt는 사람이 미리 정리한 깔끔한 마크다운으로 "우리 사이트에서 중요한 건 이것들"이라고 짚어줍니다. 그래서 설명 문서가 많은 개발자 도구 사이트에서 특히 관심을 받았습니다. 사용법이 복잡한 제품일수록 AI가 정확히 안내하게 만드는 게 중요하기 때문입니다. 제품 문서가 잘못 전달되면 사용자가 엉뚱한 답을 받게 되고, 그 책임은 결국 제품을 만든 회사로 돌아옵니다.

쉽게 비유하면 llms.txt는 큰 도서관 입구에 붙은 추천 도서 안내판입니다. 방문객이 수만 권 사이에서 헤매지 않도록 사서가 "오늘 꼭 볼 책은 이 다섯 권, 위치는 여기"라고 적어두는 것과 같습니다. AI가 사이트 전체를 헤집지 않고 핵심부터 보게 돕는 길잡이입니다. 안내판이 없어도 책은 찾을 수 있지만, 있으면 훨씬 빠르고 정확하게 닿습니다.

형식은 단순합니다. 맨 위에 사이트 이름과 한 줄 소개를 적고, 그 아래에 중요한 페이지의 제목과 링크, 짧은 설명을 목록으로 나열합니다. 핵심 페이지만 추리는 llms.txt 외에, 본문 전체를 한 파일에 담는 llms-full.txt를 함께 두기도 합니다. 짧은 안내판과 전체 자료집을 같이 비치하는 셈입니다. 사람이 직접 정리하기 때문에 무엇을 핵심으로 내세울지는 사이트 운영자가 정합니다.

가장 헷갈리는 건 robots.txt와의 차이입니다. robots.txt는 "여기는 들어오지 마"라고 막는 차단 표지판이고, llms.txt는 "이쪽이 중요해"라고 안내하는 길잡이입니다. 차단과 안내라는 정반대 목적을 가집니다. sitemap.xml과도 다릅니다. sitemap이 모든 페이지를 빠짐없이 나열하는 목록이라면, llms.txt는 그중 핵심만 골라 추천하는 큐레이션입니다. 이런 흐름은 AI 검색 시대에 콘텐츠가 잘 인용되게 다듬는 GEO(생성 엔진 최적화)나 AEO(답변 엔진 최적화)라는 새로운 SEO 개념과 맞닿아 있습니다.

하지만 llms.txt를 두고는 논쟁이 큽니다. 가장 큰 의문은 "주요 AI가 실제로 이 파일을 읽는가"입니다. 구글은 llms.txt를 지원하지 않고 앞으로도 계획이 없다고 공개적으로 밝혔고, 한 검색 엔지니어는 오래전 효과가 사라진 키워드 메타 태그에 빗대며 회의적으로 봤습니다. 제안된 지 1년이 지나도록 주요 AI 검색 시스템이 실제 검색 과정에서 이 파일을 쓴 사례가 확인되지 않았다는 지적도 있습니다. AI가 어차피 원본 페이지를 직접 읽을 수 있다면, 따로 파일을 만들고 꾸준히 최신 상태로 관리하는 수고가 헛수고로 끝날 수 있다는 비판입니다.

반대 진영의 근거도 분명합니다. Mintlify가 2024년 11월 자사 문서 사이트 전체에 지원을 켜면서 Anthropic과 Cursor를 포함한 수천 개 사이트가 하룻밤 새 파일을 갖추게 됐고, 클라우드플레어와 버셀, Astro 같은 개발자 친화 회사도 이 표준을 지지합니다. 정리하면 만드는 비용은 낮지만 효과는 아직 검증 중이라, 손해 볼 일은 적되 큰 기대를 걸기엔 이른 표준입니다. 당장 트래픽이 늘기를 바라기보다, AI 검색 환경이 어디로 가는지 지켜보며 준비해 두는 정도로 접근하는 편이 현실적입니다.