Siri potrebbe imparare a leggere le labbra utilizzando il rilevamento del movimento

Fonte background di HAL 9000: Warner Bros

I futuri dispositivi Apple potrebbero essere in grado di utilizzare il rilevamento del movimento per leggere le labbra e quindi attivare Siri senza bisogno di un microfono per ascoltare costantemente i comandi.

Se sei abbastanza grande, l'idea che Siri sia in grado di leggere le labbra in qualche modo ti ha immediatamente e in modo preoccupante ricordato "2001: Odissea nello spazio" di Arthur C. Clarke e Stanley Kubrick. Si spera che se Apple stia incanalando quel film del 1968, è perché il computer HAL 9000 aveva superbe capacità di riconoscimento vocale.

In confronto, Siri ha molte più difficoltà a comprendere in modo affidabile e coerente i comandi vocali, ma ad essere onesti non ha ancora tentato di uccidere l'equipaggio di un'astronave. Sono altalene ed equilibri.

È plausibile, però, dare a Siri un aspetto extra come il rilevamento dei movimenti della bocca e della testa potrebbe migliorarne la precisione. Una domanda di brevetto recentemente presentata chiamata "Keyword Detection Using Motion Sensing" mira a fare questo, ma anche qualcosa di più.

"[I dati] vengono ricevuti da un sensore di movimento, ad esempio, che registra il movimento di un utente mentre l'utente pronuncia un input vocale", afferma la domanda di brevetto. "Si determina se una parte dei dati di movimento corrisponde ai dati di riferimento per un insieme di una o più parole (ad esempio, una parola o una frase)."

"Inoltre, i sistemi di controllo [solo] vocale possono provocare risposte false positive", ha affermato Apple, "se il sensore audio rileva il rumore ambientale o il parlato di un utente non previsto."

La domanda di brevetto descrive in dettaglio come i movimenti della bocca possono essere confrontati con i dati precedenti mentre Siri o un dispositivo tenta di trovare una corrispondenza.

Ma questo non serve proprio a migliorare Siri, e non è un segno che Apple stia progettando alcuni dispositivi senza microfono. Invece, Apple propone che tale rilevamento del movimento potrebbe significare la possibilità di spegnere i microfoni utilizzati da un dispositivo per ascoltare costantemente "Siri" o "Ehi, Siri".

"Il rilevamento e l'elaborazione [continua] dei dati audio consuma energia e capacità di elaborazione anche quando l'utente non utilizza attivamente il controllo vocale", afferma Apple.

"Quando un utente parla, la bocca, il viso, la testa e il collo si muovono e vibrano", continua. "I sensori di movimento come accelerometri e giroscopi possono rilevare questi movimenti, consumando relativamente poca energia rispetto ai sensori audio come i microfoni."

Rilevare il movimento ora e confrontarlo con le registrazioni precedenti sembra chiaramente in grado di funzionare quando ciò che viene detto è "Ehi, Siri" o qualche altro comando regolare. come "Traccia successiva". Quando il comando vocale è meno comune, come "Ehi Siri, apri le porte del vano pod", sicuramente il rilevamento del movimento non funzionerà.

Ma finché il rilevamento del movimento è abbastanza veloce, individuare che un utente ha detto "Siri" dovrebbe significare che il dispositivo sia in grado di accendere i microfoni in tempo per catturare il resto vocalmente.

Oltre a riferirsi ad accelerometri e giroscopi, la richiesta di brevetto di Apple non dedica molto tempo a discutere i dispositivi che potrebbero essere utilizzati per implementare questa proposta.

Tuttavia, la lettura labiale avviene tramite il rilevamento del movimento, piuttosto che attraverso le telecamere e la linea di vista. Quindi, soprattutto in combinazione con un iPhone, questo rilevamento del movimento potrebbe teoricamente funzionare con gli AirPods e, ad esempio, con Apple Vision Pro.

Questa domanda di brevetto è attribuita a due inventori, tra cui Madhu Chinthakunta. Il precedente lavoro di Chinthakunta per Apple include un brevetto per consentire a Siri di prendere automaticamente accordi e chiamare per tuo conto.

William Gallagher ha 30 anni di esperienza tra la BBC e AppleInsider discutendo della tecnologia Apple. Al di fuori di AppleInsider, è meglio conosciuto per aver scritto drammi radiofonici di Doctor Who per BBC/Big Finish, ed è il De...