La nuova esperienza di traduzione in tempo reale tramite cuffie preserva il tono, l'accento, il ritmo e l'intonazione di chi parla, rendendo più facile seguire la conversazione e capire chi sta dicendo cosa. In altre parole, la nuova funzionalità trasforma sostanzialmente qualsiasi paio di cuffie (non solo i Pixel Buds di Google) in un dispositivo di traduzione unidirezionale in tempo reale.
"Che tu stia cercando di conversare in un'altra lingua, di viaggiare all'estero o di guardare un programma televisivo o un film in un'altra lingua, indossa semplicemente le cuffie, apri l'app Traduttore, tocca il pulsante Traduzione in tempo reale e ascolta una traduzione in tempo reale nella lingua desiderata", ha scritto in un post del blog Rose Yao, vicepresidente della gestione dei prodotti per i settori verticali della ricerca di Google.
Il processo in sé è simile alla registrazione del testo da parte dell'interlocutore tramite il microfono del telefono. Il sistema riconosce la lingua e la voce parlata in tempo reale. L'intelligenza artificiale converte il parlato in testo, quindi lo traduce nella lingua di destinazione. Il testo viene quindi convertito in suoni udibili tramite le cuffie. La versione beta è attualmente disponibile nell'app Android Translator negli Stati Uniti, in Messico e in India. Funziona con qualsiasi visore e supporta oltre 70 lingue. Google sta ancora perfezionando il modello e l'esperienza utente.
Il prossimo anno questa tecnologia arriverà anche sui dispositivi Apple (iPhone) e in altri Paesi. Grazie alla potenza dell'intelligenza artificiale Gemini, le traduzioni non saranno più piatte o letterali, ma molto più naturali e precise. Il sistema sarà finalmente capace di comprendere e tradurre correttamente anche il linguaggio informale, i modi di dire tipici di una zona e tutte quelle espressioni colorite o popolari che spesso mettono in crisi i traduttori tradizionali