AI 받아쓰기 작동 원리: 음파에서 텍스트까지

AI 받아쓰기 작동 원리는 두 전문 모델의 연결에 있다. 음향 모델이 음파를 주파수 지도로 읽어 음소 시퀀스를 추출하고, 언어 모델이 그 시퀀스를 일관성 있는 단어와 문장, 구두점으로 조합한다. 조용한 환경에서 단일 화자를 녹음한 클린 오디오의 경우 최신 시스템은 95-99% 정확도를 달성하며 수 분 안에 트랜스크립트를 반환한다. 실제 회의 녹음, 겹치는 발화와 배경 소음이 있는 환경에서는 정확도가 85-92%로 낮아진다. 그래도 AI 검토 병행 워크플로는 대부분의 지식 노동자에게 완전 인간 전사보다 합리적인 선택이다.

음파에서 텍스트까지: 6단계 파이프라인

서비스마다 내부 모델은 달라도 파이프라인 구조는 일관적이다.

1. 오디오 입력: 파일이 업로드되거나 실시간으로 스트리밍된다. 음향 모델이 처리할 수 있는 형식으로 정규화된다.

2. 스펙트로그램 추출: 원시 음파가 스펙트로그램으로 변환된다. 시간 축과 주파수 축으로 이루어진 격자에서 각 순간 어느 주파수가 활성화돼 있는지 보여준다.

3. 음소 매핑: 음향 모델이 스펙트로그램에서 음소를 식별한다. 단어는 최소 음성 단위로 분해된 뒤 텍스트로 변환된다.

4. 언어 모델링: 언어 모델이 음소 시퀀스를 받아 단어로 확정한다. 문맥을 이용해 모호한 부분을 해소한다. 동음이의어 선택이 이 단계에서 이루어진다.

5. 화자 분리: 녹음에 여러 목소리가 있으면 별도 모델이 화자 클러스터별로 트랜스크립트를 구분한다. 화자 A, 화자 B 같은 레이블이 붙는다.

6. 후처리: 구두점, 대소문자, 도메인 전용 교정이 적용된다. 단어 또는 문장 수준의 타임스탬프와 함께 트랜스크립트가 제공된다.

1-3단계는 오디오 1분당 수 밀리초가 걸린다. 4-6단계에서 서비스 간 품질 차이가 발생한다.

음향 모델: 스펙트로그램으로 소리를 읽는 방식

음향 모델은 인간처럼 소리를 '듣지' 않는다. 스펙트로그램을 읽는다. 수평 축이 시간, 수직 축이 주파수, 색 강도가 진폭을 나타내는 히트맵이다. 모델이 처리하는 것은 감각이 아닌 데이터다.

OpenAI의 Whisper는 2022년 공개된 후 대부분의 상용 서비스가 비교 기준으로 삼는 모델이 됐다. 인코더-디코더 트랜스포머 아키텍처를 사용한다. 인코더는 스펙트로그램 전체를 한 번에 읽고 셀프어텐션 레이어로 오디오 클립 전체의 관계를 파악한다. 이전 RNN 기반 모델이 오디오를 단어 단위로 순차 처리했던 것과 다르다. 디코더는 인코딩된 오디오와 지금까지 생성된 텍스트를 모두 참조하며 토큰을 하나씩 출력한다.

Whisper Large-v3는 LibriSpeech 테스트 클린 데이터에서 단어 오류율(WER) 2.7%를 달성한다. 배경 소음 없이 단일 화자가 명확하게 발화한 오디오북 녹음 기준이다. 여러 화자와 배경 소음이 있는 실제 회의 오디오에서는 WER이 8-12%로 상승한다. 벤치마크 조건과 실제 조건 사이의 이 격차가 벤더의 정확도 주장을 읽을 때 가장 중요한 숫자다.

Wav2Vec 2.0과 HuBERT 같은 이전 모델도 비슷한 자기지도학습 방식을 사용했지만 언어별 파인튜닝이 더 많이 필요했다. Whisper의 강점은 규모였다. 96개 언어에 걸쳐 680,000시간의 웹 오디오로 학습돼 이전 모델이 접하지 못한 억양과 발화 스타일에도 잘 일반화됐다.

언어 모델 레이어가 2022년 이후 정확도를 바꾼 이유

대형 언어 모델이 널리 사용되기 전에는 음향 모델이 전사 작업의 대부분을 담당했다. 음소 시퀀스가 모호하면 n-그램 확률에 기반해 추측했다. 그래서 예전 전사 소프트웨어는 동음이의어를 잘못 출력하거나 고유명사를 완전히 놓치는 경우가 잦았다.

2022년 이후의 변화: 많은 서비스가 이제 음향 모델의 초안 출력을 LLM으로 후처리한다. LLM이 전체 초안 트랜스크립트를 문맥 속에서 읽고 오류를 수정한다. 오디오 정지가 쉼표를 시사하는 곳에 쉼표를 추가한다. 일부 엔터프라이즈 서비스에서는 의학, 법률, 금융 도메인 사전을 적용해 일반 음향 모델이 잘못 인식한 어휘를 교정한다.

LLM 레이어를 오류 교정뿐 아니라 다운스트림 합성에 활용하는 서비스도 늘고 있다. 회의 요약, 액션 아이템 추출, 후속 초안 작성 같은 기능이다. 자동 회의 기록이 목적이라면 유용하다. 보관이나 직접 인용을 위해 원시 트랜스크립트가 필요하다면, LLM 요약 레이어가 긴 녹음의 가장자리에 있는 뉘앙스를 평평하게 만들 수 있다는 점을 염두에 둬야 한다.

전사 정확도가 거의 범용 상품이 된 것도 이 때문이다. 상위 서비스 대부분이 일반 녹음에서 90-97% 정확도 범위에 몰려 있다. 진짜 차별점은 이제 가격, 워크플로 통합, 화자 레이블 품질이다.

화자 분리: 누구인지 모른 채 목소리를 구분하기

화자 분리(diarization)는 2026년 현재 모든 AI 전사 시스템의 가장 약한 고리다. 모델이 음고, 톤, 리듬 같은 음향적 특징을 기반으로 목소리 클러스터를 식별하고, 신원 정보 없이 화자 A, 화자 B 같은 레이블을 붙인다. 두 사람이 끼어들기 없이 진행하는 인터뷰에서는 꽤 잘 작동한다. 8명이 참여한 통화에서 발화가 겹치고 원격 참여자 연결이 불안정하며 비슷한 목소리가 섞이면 무너진다.

대부분의 서비스가 '화자 식별'을 광고하지만 실제로 제공하는 것은 화자 클러스터링이다. 진짜 식별, 즉 목소리를 알려진 이름에 매핑하는 것은 사전 등록된 음성 샘플이 필요하며, 이를 지원하는 엔터프라이즈 서비스는 소수다. Otter.ai와 Fireflies.ai 모두 목소리가 녹음 및 레이블링된 경우 이름 매핑을 제공하지만, 처음 만나는 참여자가 있는 새 회의의 콜드 스타트 식별에서는 여전히 일반 화자 레이블이 나온다.

실용적 기준: 2-3명이 말하는 녹음에서는 화자 분리 정확도 90-95%를 기대할 수 있다. 6명 이상에서는 녹음 1시간당 수동 교정 10-15분을 예산에 잡아야 한다. 이 한계는 대부분의 마케팅 페이지에 눈에 띄게 나와 있지 않다.

정확도의 한계: WER이 실제로 의미하는 것

단어 오류율(WER)은 AI 출력에서 기준 트랜스크립트와 다른 단어 수를 측정한다. 60분짜리 회의 트랜스크립트(약 9,000 단어)에서 WER 5%는 문서 전반에 약 450개의 오류 단어가 흩어져 있다는 뜻이다.

도구 선택보다 정확도를 더 크게 움직이는 세 가지 요소가 있다.

녹음 품질. 조용한 방에서 USB 콘덴서 마이크를 사용하면 노이즈가 많은 회의실 녹음에서 Deepgram Nova-3(배치 WER 중앙값 5.26%)와 Whisper(WER 8.06%)의 차이를 뛰어넘는 결과를 낸다. 녹음 환경은 정확도를 15-20 퍼센트포인트 움직인다. 도구 선택은 1-3 퍼센트포인트다.

화자 수. 2명일 때 94% 정확도, 6명일 때 87%. 화자 분리 오류가 누적된다. 4명 이상이 참여한 회의라면 화자 레이블에 의존하기 전에 수동 검토를 계획해야 한다.

도메인 어휘. 고유명사, 브랜드명, 기술 약어에서 정확도가 가장 많이 떨어진다. 커스텀 어휘 학습이나 도메인 특화 모델 파인튜닝을 제공하는 서비스가 여기서 측정 가능한 차이를 만든다.

비용 맥락: AI 전사는 분당 $0.05-$0.25. 인간 전사는 분당 $0.72-$1.50. 대부분의 정보성 녹음에서 90-96% 정확도의 AI 출력으로 충분하다. 분당 $0.30-$0.50의 인간 교정을 더해도 완전 인간 전사보다 저렴하다.

실시간 전사는 배치 처리와 다른 제약 아래 작동한다. 아직 발화되지 않은 오디오를 미리 읽어 모호함을 해소할 수 없기 때문에, 실시간 WER은 동일 서비스의 배치 WER보다 일반적으로 3-5 퍼센트포인트 높다. 회의 중에 트랜스크립트가 필요하다면 그 차이를 감안해야 한다.

지식 노동자의 오디오 스택에서 AI 받아쓰기의 위치

AI 전사에 관한 대부분의 글은 회의에 집중한다. 지식 노동자에게 더 흥미로운 활용법은 완전한 루프다. 오디오가 들어오고, 텍스트가 나오고, 텍스트가 독서 및 연구 워크플로로 다시 들어간다.

2026년 중반 기준 실용적인 스택: 어떤 도구로든 회의나 인터뷰를 녹음한다. 단어 수준 타임스탬프, 화자 레이블, 그리고 tl;dv나 Granola 같은 서비스에서는 생성된 요약이 함께 돌아온다. 원시 트랜스크립트를 Obsidian, Notion, 또는 Readwise로 가져와 검색하고 하이라이트한다. 녹음이 아닌 트랜스크립트가 검색 가능한 아티팩트가 된다.

출퇴근 중 오디오로 정보를 흡수한다면: 전사가 반대 방향으로 루프를 완성한다. 걸으면서 녹음된 통화를 들을 수 있고, 나중에 문서에 인용해야 하는 줄을 트랜스크립트에서 검색한다. 화면 없이 청취, 오디오 없이 참조. 화면 없이 접근 가능하다. 녹음을 다시 보지 않아도 검색 가능하다. 이것이 지식 노동자 워크플로에서 AI 받아쓰기의 실질적 가치다.

다음 녹음 전에 확인할 것들

QUEUE: 전사하기 전에 확인할 두 가지.

첫 번째: 어떻게 녹음됐는가. 괜찮은 마이크와 조용한 공간이 어떤 서비스를 선택하느냐보다 트랜스크립트 정확도에 더 큰 영향을 준다. 15분의 오디오 셋업이 출력 정확도를 약 15 퍼센트포인트 올린다.

두 번째: 워크플로에서 화자 레이블이 정확해야 하는가, 아니면 단어만 맞으면 되는가. 이름으로 인용할 것이라면 수동 화자 분리 검토를 계획하라. 팀 통화의 검색 가능한 기록이 필요한 것이라면 AI에게 맡겨라. 특정인의 발언을 귀속시키는 게 아니라 개념을 검색하는 경우에는 화자 레이블 오류가 덜 중요하다.

AI 전사는 빠르고, 인간 대안보다 비용이 낮으며, 대부분의 녹음 유형에 충분한 정확도다. 오디오 조건에 중립적이지 않으며, 대규모 통화의 화자 분리도 신뢰할 수 없다. 워크플로를 구축하기 전에 이 두 가지 한계를 알아야 한다.