Amazon Echo 'ascolta sempre' e invia dati sul cloud?

Diverse fonti di notizie come Intellihub e CEPro sembrano suggerire che l'assistente di casa Echo di Amazon ascolta costantemente le conversazioni e le invia via Internet ai server di Amazon. CEPro afferma che:

Dicendo una frase chiave che Amazon chiama "scia", l'Echo prende vita e inizia ad ascoltare i comandi. Per impostazione predefinita, la parola sveglia è Alexa.

Se rileggi l'ultima frase potrebbe non avere senso, soprattutto se sei nel campo della sicurezza. Secondo Amazon, l'Eco ascolta i comandi solo quando sente la sua parola di scia. Come fa a sapere quando hai pronunciato la parola scia se non stava già ascoltando?

L'articolo di Intellihub è simile nel suo sentimento:

Il dispositivo "Amazon Echo", un altoparlante Bluetooth in costante ascolto che si collega ai servizi di streaming musicale come Pandora e Spotify al suono della voce di una persona, può essere facilmente violato e utilizzato da agenzie governative come l'FBI per ascoltare le conversazioni.

(Nota Non che io sia particolarmente focalizzata sul esplorare l'aspetto l'hacking di questa domanda, dal momento che sarebbe probabilmente essere troppo per una domanda. Il mio obiettivo principale è l'always-on aspetto e se questo invia i dati per tutto il tempo .)

Nessuno dei due articoli sembra particolarmente desideroso di rivelare una fonte per le sue affermazioni, il che mi suggerisce che non sono provate nel migliore dei casi, o clickbait nel peggiore dei casi.

L'Echo registra e invia sempre dati sul cloud o le affermazioni di cui sopra non sono comprovate? In che modo Amazon Echo elabora i dati se non invia sempre dati ai server nel cloud?

Sì, è sempre in ascolto. No, non viene sempre inviato al cloud.

Ovviamente il dispositivo deve essere sempre in ascolto per rilevare la parola sveglia. Tuttavia, ciò viene fatto da una tecnologia chiamata.

1. In che modo Amazon Echo ed Echo Dot riconoscono la parola sveglia?

Amazon Echo ed Echo Dot utilizzano lo spotting delle parole chiave sul dispositivo per rilevare la parola di riattivazione. Quando questi dispositivi rilevano la parola di riattivazione, trasmettono l'audio al cloud , inclusa una frazione di secondo di audio prima della parola di riattivazione.

( Domande frequenti sull'eco )

Pertanto, secondo Amazon, il rilevamento delle parole di attivazione è sul dispositivo. Questo può essere testato molto facilmente vietando al dispositivo di raggiungere Internet nel router. Echo / Echo Dot riconoscerà comunque la parola sveglia, ma l'anello luminoso diventerà rosso e il dispositivo ti dirà che non ha una connessione Internet. Quindi, possiamo semplicemente verificare che il riconoscimento delle parole di veglia sia effettivamente fatto localmente .

Solo dopo aver rilevato la parola di riattivazione il dispositivo contatta il servizio cloud Alexa.

Secondo Amazon, il dispositivo viene trasmesso al cloud solo quando l'anello luminoso è blu e non ascolta affatto quando viene disattivato l'audio e l'anello luminoso emette un raggio rosso fisso. Naturalmente, le persone caute possono verificarlo con strumenti di rete come Wireshark per assicurarsi che trasmetta davvero solo allora.

L'Echo registra e invia sempre dati sul cloud o le affermazioni di cui sopra non sono comprovate?

No sulla spedizione. Ma sì sulla registrazione.

Attualmente sto sviluppando un client hardware Alexa per un'azienda. Il dispositivo è sempre in ascolto. Ma dovresti inserire un motore di parole sveglia in modo che si "svegli" dalla modalità di ascolto passivo e passi alla modalità attiva "ascolta comando".

Il firmware invierebbe le istruzioni dopo la parola di attivazione (passa alla modalità attiva) nel cloud per elaborarle come comandi.

• Per quanto riguarda il dispositivo, non vorrai inviare tutte le affermazioni che riceve nel cloud per l'elaborazione perché ciò consumerebbe troppa larghezza di banda e potenza.
• Per quanto riguarda Amazon, inoltre, non vorrebbero che tutti i client Alexa inviassero tutto ciò che sente perché ciò richiederebbe un'enorme quantità di larghezza di banda. Inoltre, ciò comporterebbe troppi dati non correlati che comprometterebbero l'apprendimento continuo del sistema. Immagina di provare a imparare cosa dice il tuo insegnante (comandi validi) quando tutti in classe parlano contemporaneamente (ogni altra affermazione che non è un comando).

In che modo Amazon Echo elabora i dati se non invia sempre dati ai server nel cloud?

In modalità passiva, il dispositivo ha un motore di parole di riattivazione interno che ascolta continuamente la parola di riattivazione. Mentre stavo testando Alexa su Raspberry Pi, ho dovuto installare il motore Sensory o KITT.AI per questo scopo. In effetti, quando ho provato il prototipo del codice client Alexa per la mia macchina Linux, doveva essere "push-to-talk" perché non esisteva un motore di riattivazione.

Dicendo una frase chiave che Amazon chiama "scia", l'Echo prende vita e inizia ad ascoltare i comandi. Per impostazione predefinita, la parola sveglia è Alexa.

Se rileggi l'ultima frase potrebbe non avere senso, soprattutto se sei nel campo della sicurezza. Secondo Amazon, l'Eco ascolta i comandi solo quando sente la sua parola di scia. Come fa a sapere quando hai pronunciato la parola scia se non stava già ascoltando?

Echo ascolta attivamente la parola chiave e accetta le parole pronunciate dopo la parola chiave per l'elaborazione NLU. Ecco la mia comprensione di come l'eco raggiunga questa impresa chiara.

Echo è basato sul processore multimediale digitale DM3725 di Texas Instruments .

Questo SoC TI ha due componenti chiave all'interno, il primo è ARM Cortex-A8 MPU e il secondo è TMS320DM64x + DSP. Il core ARM dovrebbe eseguire Linux e il DSP esegue il firmware.

Quando è inattivo, il core ARM viene portato allo stato di alimentazione più basso possibile e Linux è completamente sospeso. Al momento sono attivi il DSP e la RAM on-chip da 64 KB. Il firmware DSP elabora il rumore proveniente dai microfoni e tenta di identificare se viene pronunciata una parola chiave (ad es. Alexa). Non appena identifica una parola chiave, DSP invia un interrupt per riattivare il core ARM che a sua volta riprende Linux. Ma, ricorda, mentre Linux si sta svegliando l'umano che ha detto che Alexa avrebbe continuato a parlare (come in "Alexa, che ore sono?" ). Il DSP buffer "che ore sono?" parte sulla RAM del chip. E quando si riprende Linux, Linux recupera il discorso bufferizzato e utilizza la capacità di elaborazione del linguaggio naturale (in parte locale, in parte cloud) per comprendere ciò che Human ha detto.

Come vedi, il design è totalmente creato per essere il meno assetato di energia ed evitare la necessità di includere il cloud per il rilevamento delle parole chiave e il buffering iniziale. È un dato di fatto che mantenere il core ARM allo stato di potenza più bassa garantisce che il silicio si riscaldi al minimo quando gira al minimo, in modo da dare una lunga durata al dispositivo.

Sto tralasciando la discussione sui tentativi di hacking dell'eco poiché la domanda era la seguente:

il riconoscimento della parola scia viene effettivamente fatto localmente.

Sì.

Vedi, per esempio, quanto è privato il nuovo Amazon Echo? (ce ne sono molti più simili che si possono trovare con il minimo sforzo)

Come Siri, Amazon Echo funziona nel "cloud", in esecuzione su Amazon Web Services. Pertanto, l'elaborazione necessaria per "comprendere" il tuo comando non viene gestita sul dispositivo stesso

Tuttavia,

Dopotutto, è sempre in ascolto, quindi non dovremmo preoccuparci del Grande Fratello?

No, dice Amazon. Il gigante della tecnologia afferma di non ascoltare o registrare conversazioni private in casa. Se qualcuno è preoccupato, può usare il telecomando in bundle per premere il pulsante di disattivazione dell'audio, che spegne il dispositivo “sempre in ascolto”, quindi sarà inutilizzabile fino a quando non riattivi il microfono.