Hur fungerar text till tal? Från stavning till ljud

Hur fungerar text till tal? I tre steg. Först rensar programvaran texten och bestämmer hur varje ord ska uttalas. Sedan förutsäger en neural modell rytm, tonhöjd och tajming för meningen i form av ett spektrogram. Sist omvandlar en vocoder spektrogrammet till en faktisk ljudvåg som du kan höra. Hela kedjan körs på några sekunder för en artikel på 1,000 ord, och det är därför du kan klistra in en länk och trycka på play.

Vad händer mellan sidan och dina öron?

Tänk på det som ett stafettlopp med fyra löpare. Texten kommer in. Den normaliserade texten går vidare till ett uttalssteg. Uttalet går vidare till ett prosodisteg. Prosodin går vidare till en vågformsgenerator. Ljudet kommer ut.

Varje modern motor, från rösten i telefonens tillgänglighetsmeny till berättarrösterna i läsappar, följer någon version av det loppet. Vissa nyare system slår ihop två eller tre löpare till ett enda nätverk, men jobben finns kvar. De görs bara inuti samma modell.

INDATA  → "Dr. Voss betalade $4.50 den 5/21."
STEG 1  → "Doktor Voss betalade fyra dollar och femtio cent den tjugoförsta maj."
STEG 2  → /ˈdɑːktɚ vɔs .../
STEG 3  → tonhöjd, längd och energi per fonem
STEG 4  → ljudvåg, 22,050 till 48,000 sampel per sekund

Det är hela tricket. Resten av texten handlar om vad varje löpare gör, var den snubblar och vad du hör när det händer.

Varför är första steget, textnormaliseringen, så viktigt?

För att skriven text inte är uttalbar text. En webbsida är full av siffror, datum, förkortningar, valutatecken, webbadresser, fotnotsmarkörer och emojis. Ingen av dem har ett självklart uttal.

Textnormalisering expanderar dem. "5/21/24" blir "den tjugoförsta maj, tjugohundratjugofyra". "$4.50" blir "fyra dollar och femtio cent". "St." blir "Street" eller "Saint" beroende på vad som står runt omkring. Äldre motorer gjorde det med handskrivna regler. Nyare blandar regler med en liten inlärd modell för de tvetydiga fallen.

Det är också här artiklar går fel på sätt du märker direkt. Ett produktnamn som "iPhone 15 Pro Max" uttalat som "femton" i stället för "ett fem" ändrar meningen. En källhänvisning som "[12]" uppläst mitt i ett stycke bryter tanken. Bra verktyg för artikel till ljud tar bort fotnotsmarkörer, hoppar över navigeringstext och bestämmer vad som ska göras med tabeller innan rösten ens börjar tala.

Vid en lång läsning hör du skillnaden under den första minuten. Om berättaren snubblar på en siffra är det framsteget som har misslyckats, inte rösten.

Hur vet systemet hur varje ord ska uttalas?

Engelsk stavning är en dålig vägledning för ljud. "Though", "through", "tough" och "thought" delar nästan alla bokstäver och nästan inga ljud. Motorn behöver därför ett uttalssteg, vanligtvis kallat grafem-till-fonem-konvertering, eller G2P.

Ett fonem är den minsta ljudenhet som skiljer ord åt. Engelskan använder ungefär 40 stycken. G2P-steget mappar bokstäver till fonem på två sätt. Ett uttalslexikon hanterar vanliga ord och kända undantag. En inlärd modell gissar resten, till exempel ett efternamn den aldrig har sett.

Sedan kommer det svåra: homografer. "Read" i "I read it yesterday" och "I read every morning" stavas likadant men låter olika. "Bass", fisken och instrumentet, likaså. Modellen måste titta på meningen runt ordet, och därför använder moderna motorer kontextmedvetna nätverk i stället för enkla uppslagningar.

Där det fortfarande brister:

• Egennamn, särskilt icke-engelska, i en huvudsakligen engelsk text.

• Facktermer och akronymer, där "SQL" kan låta som "sequel" eller "S-Q-L".

• Varumärken som medvetet bryter stavningsreglerna.

De flesta motorer låter dig lägga till ett eget uttal. Få läsare gör det. Om ett enda ord ständigt får berättaren att snubbla är inställningen värd att hitta.

Var kommer rytm och intonation ifrån?

Det här steget skiljer en platt röst från en du kan lyssna på i fyrtio minuter. Det kallas prosodi: betoning, tempo, pauser och tonhöjdsrörelser över en mening.

Människor gör det utan att tänka. Vi höjer tonhöjden i slutet av en fråga, saktar ner före ett kommatecken och lägger tyngd på ordet som bär poängen. En TTS-modell måste förutsäga allt det enbart från texten. För varje fonem uppskattar den tre tal: hur länge det varar, hur högt tonhöjden ligger och hur mycket energi det bär. Den använder orden runt omkring, skiljetecknen och var ljudet sitter i sin stavelse, sitt ord och sin fras.

Skiljetecken är den starkaste signalen modellen får. Ett kommatecken ger en kort paus, en punkt en längre och en styckebrytning en ännu längre. Därför låter en dåligt formaterad artikel, utan styckebrytningar eller med en vägg av kapslade citat, brådstörtad även med en utmärkt röst.

Här är en siffra värd att spara. En typisk berättare talar med ungefär 150 ord per minut. En essä på 3,000 ord blir alltså runt 20 minuter ljud. De flesta appar låter dig höja uppspelningen till 1,5x eller 2x, vilket gör samma essä till 13 respektive 10 minuter. Prosodins kvalitet avgör om 1,5x förblir bekvämt eller kollapsar till gröt.

Vad är en vocoder, och varför behövs den?

Efter prosodiplaneringen har modellen en plan men inget ljud. I de flesta neurala system är planen ett mel-spektrogram: en bild av hur energin fördelas över frekvenser över tid, normalt med cirka 80 bildrutor per sekund.

Ett spektrogram är inte ljud. Det kastar bort den fina fasinformation som gör en ljudvåg till just en ljudvåg. Därför måste en andra modell, vocodern, rekonstruera en vågform som stämmer med planen. Det innebär att generera tiotusentals ljudsampel varje sekund, där varje sampel är ett tal som beskriver lufttrycket i just det ögonblicket.

WaveNet, som DeepMind publicerade 2016, var modellen som gjorde neural vokodning känd. Den genererade rått ljud ett sampel i taget och lät mycket mer naturlig än allt som kommit före. Den var också långsam. Senare vokodrar som HiFi-GAN genererar ljud parallellt och körs många gånger snabbare än realtid, vilket gör omedelbar uppspelning möjlig på en telefon.

Vissa system hoppar över mellansteget. VITS, beskrivet i den här artikeln från 2021, tränar ett nätverk som går direkt från fonem till vågform. Färre överlämningar betyder färre ställen där fel kan samlas.

Hur kom vi hit från pratleksakerna på 1980-talet?

Talsyntes började inte med neurala nätverk. Den gick genom tre epoker, och du kan fortfarande höra rester av de två första i äldre skärmläsare.

Formant- och regelbaserad syntes. Ingenjörer modellerade röstkanalen med filter och justerade parametrarna för hand. Ljudet var begripligt och uppenbart mekaniskt. Det här är rösten i tidiga pratleksaker och i den första generationen skärmläsare. Många blinda användare har fortfarande en sådan på telefonen med hög hastighet, eftersom den är snabb, förutsägbar och aldrig ändrar sig mellan versioner.

Konkatenativ eller urvalsbaserad syntes. I stället för att modellera rösten spelades en människa in under dussintals timmar, ljudet skars i små enheter och rätt enheter syddes ihop vid körning. Det lät betydligt mer mänskligt, men med hörbara sömmar. Man hörde skarvarna på ovanliga ord, och en röst kunde inte byta stil utan en ny inspelningssession.

Neural syntes. Dagens metod. Modellen lär sig hela avbildningen från en stor mängd inspelningar och genererar ljud i stället för att klippa ihop det. Stil, hastighet och känsla blir styrbara. Att klona en röst från ett kort prov blev möjligt. Och sömmarna har i stor utsträckning försvunnit.

En ärlig reservation. Neurala röster är inte perfekta. De kan hitta på ett ord, tappa en stavelse eller platta till en mening som behövde betoning. Felen är ovanligare och märkligare än de gamla, men de finns. På långa dokument är en lite tråkigare röst som aldrig snubblar att föredra framför en vacker som fumlar var femtionde mening.

Vilka TTS-verktyg visar stegen i praktiken?

Olika produkter satsar olika på stafettloppet. Några värda att känna till, med en ärlig bedömning av var och en.

Speechify satsar på appens finish och ett stort utbud av röster. Stark på mobilen, med import från många källor. Om du vill ha det bredaste utbudet av integrationer, börja här.

NaturalReader är det enklare, äldre namnet i branschen. Stabil på dokument och PDF-filer, och ett förnuftigt val när indata är filer snarare än webbartiklar.

ElevenLabs ligger i andra änden. Det är i första hand en plattform för röstgenerering, med starkt prosodi och kloning, och byggd för att producera ljud du publicerar, inte för att arbeta igenom en läslista.

Voice Dream Reader är den som många med nedsatt syn redan känner till. Du kan byta underliggande röstmotor, finjustera uttal och ställa in hastigheten i små steg, vilket gör pipelinen ovan till något du faktiskt kan justera.

Skippa tanken att ett av dem har "den bästa rösten". Skillnaden ligger i framsteget: hur de rensar en artikel, vad de gör med en tabell och hur de hanterar en text på 5,000 ord med kapslade citat. Där lyckas ett läsflöde, eller misslyckas det tyst.

Vad förändrar detta i hur du lyssnar?

Att känna till stafettloppet ger dig tre praktiska grepp.

1. Rensa indata. Ta bort annonser, cookiebanners och fotnotsbrus innan du skickar en artikel till ljud. Läsvyn hjälper. Framsteget kan bara laga så mycket.

2. Matcha hastighet mot prosodi. Om en röst låter bra vid 1,0x men bryts vid 1,5x är dess längdmodell den svaga punkten. Prova en annan röst innan du ger upp hastigheten.

3. Åtgärda de återkommande bovarna. Om ett namn eller en akronym gång på gång går fel, lägg till ett eget uttal en gång i stället för att lida i månader.

Testa också med din sämsta artikel, inte din bästa. En ren blogpost på 800 ord bevisar ingenting. En tät text på 4,000 ord med siffror, citat och en tabell är det riktiga provet.

Innan nästa pendlingsresa, köa en lång och en kort text. Lyssna på de första två minuterna av var och en i normal hastighet och sedan i 1,5x. Du hör stegen vi just gick igenom, och du vet vilken löpare som tappade stafettpinnen.