Come funziona la sintesi vocale: dal testo all'audio

Come funziona la sintesi vocale? In tre passaggi. Prima il software ripulisce il testo e decide come va pronunciata ogni parola. Poi un modello neurale prevede ritmo, tono e tempi della frase, sotto forma di spettrogramma. Infine un vocoder trasforma lo spettrogramma in un'onda sonora che puoi ascoltare. L'intera catena lavora in pochi secondi per un articolo di 1.000 parole, ed è per questo che puoi incollare un link e premere play.

Cosa succede tra la pagina e le tue orecchie?

Pensala come una staffetta con quattro corridori. Il testo entra. Il testo normalizzato passa alla fase di pronuncia. La pronuncia passa alla fase di prosodia. La prosodia passa al generatore della forma d'onda. Alla fine esce l'audio.

Ogni motore moderno, dalla voce nel menu di accessibilità del telefono ai narratori delle app di lettura, segue una versione di questa staffetta. Alcuni sistemi più recenti fondono due o tre corridori in un'unica rete, ma i compiti restano. Vengono svolti dentro un solo modello.

INPUT   → "Il dott. Voss ha pagato $4.50 il 21/5."
FASE 1  → "Il dottor Voss ha pagato quattro dollari e cinquanta cent il ventuno maggio."
FASE 2  → /il dotˈtor ˈvɔs .../
FASE 3  → tono, durata, energia per fonema
FASE 4  → forma d'onda, da 22.050 a 48.000 campioni al secondo

Questo è tutto il trucco. Il resto dell'articolo spiega che cosa fa ciascun corridore, dove ciascuno sbaglia e che cosa senti quando succede.

Perché il primo passaggio, la normalizzazione del testo, conta così tanto?

Perché il testo scritto non è un testo pronunciabile. Una pagina è piena di numeri, date, abbreviazioni, simboli di valuta, URL, note a piè di pagina ed emoji. Nessuno di questi ha una pronuncia ovvia.

La normalizzazione li espande. "21/5/24" diventa "ventuno maggio duemilaventiquattro". "$4.50" diventa "quattro dollari e cinquanta cent". "Dott." diventa "dottor" o "dottore" a seconda di ciò che sta intorno. I motori più vecchi lo facevano con regole scritte a mano. Quelli nuovi mescolano regole e un piccolo modello appreso per i casi ambigui.

È anche qui che gli articoli sbagliano in modi che noti subito. Un nome di prodotto come "iPhone 15 Pro Max" letto come "quindici" invece che come "uno cinque" cambia il senso della frase. Una citazione tipo "[12]" letta ad alta voce in mezzo a un paragrafo spezza il pensiero. I buoni strumenti di article-to-audio tolgono i marcatori delle note, saltano il testo di navigazione e decidono cosa fare delle tabelle prima ancora che la voce si apra bocca.

In una lettura lunga senti la differenza nel primo minuto. Se il narratore inciampa su un numero, ha fallito il front end, non la voce.

Come fa il sistema a sapere come pronunciare ogni parola?

L'ortografia inglese è una guida scarsa per il suono. "Though", "through", "tough" e "thought" condividono quasi tutte le lettere e quasi nessun suono. L'italiano è molto più regolare, ma il motore ha comunque bisogno di una fase di pronuncia, di solito chiamata conversione grafema-fonema, o G2P.

Un fonema è l'unità sonora più piccola che distingue due parole. L'inglese ne usa circa 40. Il passaggio G2P associa le lettere ai fonemi in due modi. Un dizionario di pronuncia gestisce le parole comuni e le eccezioni note. Un modello appreso indovina il resto, per esempio un cognome che non ha mai visto.

Poi arriva la parte difficile, gli omografi. In "pesca" (il frutto e l'atto di pescare) o in "àncora" e "ancora" la scrittura è identica e cambiano accento e significato. Il modello deve guardare la frase intorno alla parola, per questo i motori moderni usano reti sensibili al contesto e non semplici ricerche in tabella.

Dove fallisce ancora:

• Nomi propri, soprattutto stranieri, in un articolo in prevalenza italiano.

• Gergo tecnico e sigle, dove "SQL" può diventare "esse, cu, elle" oppure una parola inventata.

• Marchi che rompono deliberatamente le regole di scrittura.

Quasi tutti i motori permettono di aggiungere una pronuncia personalizzata. Pochi lettori lo fanno mai. Se una parola continua a far inciampare il narratore, vale la pena trovare quell'impostazione.

Da dove vengono ritmo e intonazione?

Questo è lo stadio che separa una voce piatta da una che puoi ascoltare per quaranta minuti. Si chiama prosodia: accenti, ritmo, pause e movimento del tono lungo la frase.

Gli esseri umani lo fanno senza pensarci. Alziamo il tono alla fine di una domanda, rallentiamo prima di una virgola e diamo peso alla parola che porta il punto. Un modello TTS deve prevedere tutto questo solo dal testo. Per ogni fonema stima tre valori: quanto dura, quanto è alto il tono e quanta energia contiene. Lo fa usando le parole vicine, la punteggiatura e la posizione del suono nella sillaba, nella parola e nella frase.

La punteggiatura è il segnale più forte che il modello riceve. Una virgola vale una pausa breve, un punto una più lunga, un a capo una più lunga ancora. Per questo un articolo mal formattato, senza a capo o con un muro di virgolette annidate, suona frettoloso anche con un'ottima voce.

Un numero da tenere a mente. Un narratore tipico parla a circa 150 parole al minuto. Un saggio di 3.000 parole dura quindi circa 20 minuti di audio. La maggior parte delle app permette di portare la riproduzione a 1.5x o 2x, il che trasforma lo stesso saggio in 13 o 10 minuti. La qualità della prosodia decide se 1.5x resta confortevole o si trasforma in un impasto.

Che cos'è un vocoder, e perché serve?

Dopo la pianificazione della prosodia, il modello ha un piano ma nessun suono. Nella maggior parte dei sistemi neurali il piano è uno spettrogramma mel: una mappa di come l'energia si distribuisce tra le frequenze nel tempo, di solito a circa 80 frame al secondo.

Uno spettrogramma non è audio. Scarta il dettaglio di fase fine che rende una forma d'onda una forma d'onda. Quindi un secondo modello, il vocoder, deve ricostruire una forma d'onda che corrisponda allo spettrogramma. Significa generare decine di migliaia di campioni audio al secondo, ciascuno un numero che descrive la pressione dell'aria in quell'istante.

WaveNet, pubblicato da DeepMind nel 2016, è il modello che ha reso famoso il vocoder neurale. Generava l'audio grezzo un campione alla volta e suonava molto più naturale di tutto ciò che c'era prima. Era anche lento. Vocoder successivi come HiFi-GAN generano l'audio in parallelo e funzionano molte volte più veloci del tempo reale, il che rende possibile la riproduzione immediata su un telefono.

Alcuni sistemi saltano il passaggio intermedio. VITS, descritto in questo articolo del 2021, addestra una sola rete che va dai fonemi direttamente alla forma d'onda. Meno passaggi significano meno punti in cui gli errori si accumulano.

Come siamo arrivati dai giocattoli parlanti degli anni Ottanta?

La sintesi vocale non è nata con le reti neurali. È passata per tre epoche, e nei vecchi screen reader si sentono ancora le tracce delle prime due.

Sintesi a formanti e basata su regole. Gli ingegneri modellavano il tratto vocale con filtri e regolavano i parametri a mano. Il suono era intelligibile e inconfondibilmente meccanico. È la voce dei primi giocattoli parlanti e della prima generazione di screen reader. Molti utenti ipovedenti tengono ancora un sintetizzatore del genere sul telefono a velocità alta, perché è veloce, prevedibile e non cambia tra un aggiornamento e l'altro.

Sintesi per concatenazione o selezione di unità. Invece di modellare la voce, si registrava uno speaker umano per decine di ore, si tagliavano le registrazioni in piccole unità e si cucivano quelle giuste al momento dell'uso. Suonava molto più umano, ma con giunture udibili. Sulle parole insolite si sentivano le cuciture, e una voce non poteva cambiare stile senza una nuova sessione di registrazione.

Sintesi neurale. È l'approccio di oggi. Il modello impara l'intera mappatura da un grande insieme di registrazioni e genera l'audio invece di incollarlo. Stile, velocità ed emozione diventano controllabili. Clonare una voce da un campione breve è diventato possibile. E le cuciture sono in gran parte sparite.

Una precisazione onesta. Le voci neurali non sono perfette. Possono inventare una parola, saltare una sillaba o appiattire una frase che avrebbe richiesto enfasi. I difetti sono più rari e più strani di quelli vecchi, ma esistono. Su documenti lunghi preferisco una voce un po' più piatta che non si inceppa mai a una voce splendida che sbaglia ogni cinquantesima frase.

Quali strumenti TTS mostrano queste fasi nella pratica?

Prodotti diversi fanno scommesse diverse sulla staffetta. Ne citiamo alcuni, con il giudizio onesto su ciascuno.

Speechify punta sulla cura dell'app e su una grande libreria di voci. Forte su mobile, con import da molte fonti. Se cerchi il set più ampio di integrazioni, parti da qui.

NaturalReader è il nome più semplice e più vecchio del settore. È costante su documenti e PDF, una scelta sensata quando l'input sono file e non articoli web.

ElevenLabs sta all'altro estremo. È prima di tutto una piattaforma di generazione vocale, con una prosodia molto curata e la clonazione, ed è costruita per produrre audio da pubblicare, non per smaltire una coda di letture.

Voice Dream Reader è quello che molti lettori ipovedenti già conoscono. Permette di cambiare il motore vocale, regolare le pronunce e impostare la velocità con passi fini, il che rende la catena descritta sopra qualcosa che puoi davvero modificare.

Lascia perdere l'idea che uno di loro abbia "la voce migliore". La differenza sta nel front end: come ripuliscono un articolo, cosa fanno con una tabella, come gestiscono un pezzo di 5.000 parole con virgolette annidate. È lì che un flusso di lettura riesce o fallisce in silenzio.

Cosa cambia nel modo in cui ascolti?

Conoscere la staffetta ti dà tre mosse pratiche.

1. Pulisci l'input. Togli pubblicità, banner dei cookie e il disordine delle note prima di mandare un articolo all'audio. La modalità lettura aiuta. Il front end può correggere solo fino a un certo punto.

2. Adatta la velocità alla prosodia. Se una voce suona bene a 1.0x ma si rompe a 1.5x, il suo modello di durata è il punto debole. Prova un'altra voce prima di rinunciare alla velocità.

3. Sistema i recidivi. Se un nome o una sigla sbaglia sempre, aggiungi una pronuncia personalizzata una volta sola, invece di sopportarla per mesi.

Poi testa con il tuo articolo peggiore, non con il migliore. Un post di blog pulito da 800 parole non dimostra nulla. Un pezzo denso da 4.000 parole con numeri, citazioni e una tabella è l'esame vero.

Prima del prossimo viaggio in treno, metti in coda una lettura lunga e una corta. Ascolta i primi due minuti di ognuna a velocità normale, poi a 1.5x. Sentirai le fasi che abbiamo appena visto e saprai quale corridore ha perso il testimone.