음성 합성 (TTS)

음성 합성(TTS, Text-to-Speech)은 글자로 된 문장을 사람이 말하는 것처럼 들리는 오디오로 바꾸는 기술입니다. 원고를 넣으면 억양과 호흡까지 흉내 낸 목소리 파일이 나옵니다. 예전에는 내비게이션이나 자동 응답 안내처럼 딱딱한 기계음이 전부였지만, 딥러닝 기반 모델이 자리 잡으면서 사람이 녹음한 것과 구분하기 어려운 수준까지 올라왔습니다.

TTS가 소리를 만드는 과정은 크게 세 단계입니다. 먼저 텍스트 정규화 단계에서 숫자와 기호, 영어 약어를 실제로 읽는 방식으로 풀어 씁니다. 다음으로 음향 모델이 문장을 멜 스펙트로그램 같은 소리의 설계도로 바꿉니다. 마지막으로 보코더가 그 설계도를 사람 귀에 들리는 파형으로 만듭니다. 요즘 모델은 이 세 단계를 하나의 신경망 안에서 한꺼번에 처리하기도 합니다.

규칙 기반에서 신경망 기반으로

초기 TTS는 미리 녹음해둔 음소 조각을 이어 붙이는 방식이었습니다. 그래서 단어는 알아들을 수 있어도 문장 전체의 억양이 뚝뚝 끊겼습니다. 파형을 직접 예측하는 신경망 보코더가 등장하면서 이 한계가 풀렸습니다. 지금은 트랜스포머 계열 구조를 쓰는 모델이 많고, 문장 전체 맥락을 보고 어디에서 쉬고 어디를 강조할지 모델이 스스로 정합니다.

최근 TTS에서 가장 크게 달라진 부분은 새 목소리를 만드는 비용입니다. 예전에는 특정 목소리를 학습시키려면 수십 시간짜리 녹음 데이터가 필요했습니다. 지금은 몇 초에서 몇 분 정도의 짧은 샘플만 들려주면 그 목소리의 특징을 따라 하는 모델이 흔합니다. 별도 파인튜닝 없이 샘플 하나로 목소리를 흉내 내는 방식을 제로샷 음성 복제라고 부릅니다.

실제로 쓰이는 자리는 생각보다 넓습니다. 오디오북과 팟캐스트 제작, 유튜브 영상 내레이션, 콜센터 자동 응답, 시각장애인용 화면 낭독기, 언어 학습 앱의 예문 발음이 대표적입니다. 게임에서는 조연 캐릭터 대사를 TTS로 채우고 주요 배역만 성우가 녹음하는 방식도 씁니다. 덕분에 제작 일정과 비용이 크게 줄어듭니다.

헷갈리기 쉬운 인접 기술

TTS와 자주 헷갈리는 기술이 몇 가지 있습니다. 음성 인식(STT, Speech-to-Text)은 반대 방향으로, 사람이 말한 소리를 글자로 옮깁니다. 음성 변환은 이미 녹음된 목소리를 다른 사람 목소리로 바꾸는 기술이라 원본 연기가 그대로 남습니다. 소리와 글자를 함께 다루는 멀티모달 모델은 TTS 기능을 안에 품고 있는 경우가 많아서, 요즘은 대화형 AI가 답변을 말로 바로 들려주기도 합니다.

TTS 서비스를 고를 때 확인할 기준은 네 가지 정도입니다. 첫째는 한국어 발음 품질입니다. 영어에서 자연스러운 모델이 한국어 조사와 받침에서 무너지는 경우가 많습니다. 둘째는 첫 소리가 나올 때까지 걸리는 지연 시간으로, 실시간 대화에 쓰려면 스트리밍 출력을 지원해야 합니다. 셋째는 억양과 속도를 세밀하게 조절할 수 있는지입니다. 넷째는 생성한 오디오의 상업적 사용 권리입니다.

대부분의 상용 TTS는 API 호출 방식으로 제공되며 글자 수나 오디오 길이를 기준으로 요금을 매깁니다. 반대로 오픈소스 TTS 모델을 내려받아 직접 돌리면 사용량 제한 없이 쓸 수 있지만 GPU와 운영 부담을 떠안아야 합니다. 대본이 자주 바뀌고 분량이 많다면 로컬 모델이 유리하고, 품질과 다국어 지원이 중요하다면 상용 API가 안전한 선택입니다.

주의할 점도 분명합니다. 목소리는 개인을 식별할 수 있는 정보라서, 동의 없이 특정인의 음성을 복제하면 초상권과 인격권 문제가 생깁니다. 실제로 가족 목소리를 흉내 낸 보이스피싱 사례가 보고되고 있습니다. 그래서 주요 제공사는 목소리 등록 시 본인 동의 절차를 요구하고, 생성된 오디오에 사람 귀에 들리지 않는 워터마크를 넣어 생성형 AI 결과물임을 표시하는 장치를 함께 넣고 있습니다.

실무에서 품질을 끌어올리는 방법은 원고 자체를 손보는 것입니다. 숫자와 영어 약어는 읽는 대로 적어주고, 쉼표와 마침표로 호흡 지점을 명확히 나누면 결과가 눈에 띄게 좋아집니다. 낭독 속도가 빠르게 느껴지면 문장을 짧게 끊는 편이 속도 설정을 건드리는 것보다 자연스럽습니다. 결국 좋은 TTS 결과물은 모델 선택만이 아니라 원고 정리에서 절반이 결정됩니다.