Ho visto e apprezzato la domanda Dare un senso all'analisi dei componenti principali e ora ho la stessa domanda per l'analisi indipendente dei componenti. Voglio dire, voglio fare una domanda completa sui modi intuitivi per comprendere l'ICA?

Voglio capire esso. Voglio ottenerne lo scopo. Voglio averne la sensazione. Credo fermamente che:

Non capisci davvero qualcosa a meno che tu non possa spiegarlo a tua nonna.
- Albert Einstein

Bene, non posso spiegare questo concetto a un laico o nonna

1. Perché ICA Qual era la necessità di questo concetto?
2. Come lo spiegheresti a un laico?

Ecco il mio tentativo.

sfondo

Considera i seguenti due casi.

1. Sei un occhio privato a una festa. Improvvisamente, vedi uno dei tuoi vecchi clienti parlare con qualcuno, e puoi sentire alcune delle parole ma non del tutto, perché senti anche qualcun altro che è accanto a lui, partecipando a una discussione indipendente sullo sport. Non vuoi avvicinarti - ti individuerà. Decidi di prendere il telefono del tuo partner (che è impegnato a convincere la birra analcolica del barista è eccezionale) e piantarlo a circa 10 metri accanto a te. Il telefono sta registrando e il telefono registra anche i discorsi del vecchio cliente e il ragazzo sportivo che interferisce. Prendi il tuo telefono e inizi a registrare anche da dove ti trovi. Dopo circa 15 minuti vai a casa con due registrazioni: una dalla tua posizione e l'altra da circa 10 metri. Entrambe le registrazioni contengono il tuo vecchio cliente e Mr. Sporty,
2. Fai una foto a un simpatico cane Labrador Retriever che vedi fuori dalla finestra. Dai un'occhiata all'immagine e sfortunatamente vedi un riflesso dalla finestra che è tra te e il cane. Non puoi aprire la finestra (è una di quelle, sì) e non puoi uscire perché hai paura che scappi. Quindi prendi (per qualche motivo poco chiaro) un'altra immagine, da una posizione leggermente diversa. Vedi ancora il riflesso e il cane, ma ora sono in posizioni diverse, poiché stai scattando la foto da un posto diverso. Si noti inoltre che la posizione è cambiata in modo uniforme per ogni pixel dell'immagine, poiché la finestra è piatta e non concava / convessa.

La domanda è, in entrambi i casi, come ripristinare la conversazione (in 1.) o l'immagine del cane (in 2.), date le due immagini che contengono le stesse due "fonti" ma con contributi relativi leggermente diversi da ciascuna . Sicuramente il mio nipotino istruito può dare un senso a questo!

Soluzione intuitiva

Come possiamo, almeno in linea di principio, recuperare l'immagine del cane da una mistura? Ogni pixel contiene valori che sono una somma di due valori! Bene, se ogni pixel fosse dato senza altri pixel, la nostra intuizione sarebbe corretta - non saremmo stati in grado di indovinare il contributo relativo esatto di ciascuno dei pixel.

Tuttavia, ci viene data una serie di pixel (o punti nel tempo nel caso della registrazione), che sappiamo avere le stesse relazioni. Ad esempio, se nella prima immagine, il cane è sempre due volte più forte del riflesso e nella seconda immagine è esattamente il contrario, allora potremmo essere in grado di ottenere i contributi corretti dopo tutto. E quindi, possiamo trovare il modo corretto di sottrarre le due immagini a portata di mano in modo che il riflesso venga cancellato esattamente! [Matematicamente, questo significa trovare la matrice della miscela inversa.]

Immergersi nei dettagli

Supponiamo che tu abbia una combinazione di due segnali,

e supponiamo che desideri ottenere in funzione delle due miscele, . E supponiamo anche che tu voglia una combinazione lineare: . Quindi, tutto ciò che devi fare è trovare il vettore migliore e il gioco è fatto. Allo stesso modo per e .$S_1$$Y_1,Y_2$$S_1=b_{11} Y_1 + b_{12} Y_2$$(b_{11},b_{12})$$S_2$$(b_{21},b_{22})$

Ma come puoi trovarlo per segnali generali? possono sembrare simili, avere statistiche simili, ecc. Quindi supponiamo che siano indipendenti. Questo è ragionevole se hai un segnale che interferisce, come un rumore, o se i due segnali sono immagini, il segnale che interferisce può essere un riflesso di qualcos'altro (e hai preso due immagini da diverse angolazioni).

Ora sappiamo che e sono dipendenti. Dato che potremmo non recuperare esattamente, denotiamo la nostra stima per questi segnali come , rispettivamente.Y 2 S 1 , S 2 X 1 , X $Y_1$$Y_2$$S_1,S_2$$X_1,X_2$

Come possiamo rendere più vicino possibile a ? Poiché sappiamo che questi ultimi sono indipendenti, potremmo voler rendere più indipendente possibile, agitando i valori di . Dopotutto, se la matrice è invertibile, possiamo trovare una matrice che inverte l'operazione di miscelazione (e se non è invertibile, possiamo avvicinarci), e se li rendiamo indipendenti, buone probabilità di ripristinare i nostri segnali .S 1 , S 2 X 1 , X 2 b i j { a i j } { b i j } S $X_1,X_2$$S_1,S_2$$X_1,X_2$$b_{ij}$$\{a_{ij}\}$$\{b_{ij}\}$$S_i$

Se sei convinto che dobbiamo trovare tale che renda indipendente, ora dobbiamo chiederci come farlo.X 1 , X $\{b_{ij}\}$$X_1,X_2$

Quindi prima di tutto considera questo: se sommiamo diversi segnali indipendenti, non gaussiani, rendiamo la somma "più gaussiana" dei componenti. Perché? a causa del teorema del limite centrale, e puoi anche pensare alla densità della somma di due indip. variabili, che è la convoluzione delle densità. Se sommiamo diversi indep. Variabili di Bernoulli, la distribuzione empirica assomiglierà sempre più a una forma gaussiana. Sarà un vero gaussiano? probabilmente no (nessun gioco di parole previsto), ma possiamo misurare una gaussianità di un segnale dalla quantità che assomiglia a una distribuzione gaussiana. Ad esempio, possiamo misurare la sua eccesso di curtosi. Se è davvero alto, è probabilmente meno gaussiano di uno con la stessa varianza ma con un eccesso di curtosi vicino allo zero.

Pertanto, se dovessimo trovare i pesi di miscelazione, potremmo provare a trovare formulando un problema di ottimizzazione che ad ogni iterazione, rende il vettore di leggermente meno gaussiano. Tieni presente che potrebbe non essere veramente gaussiano in qualsiasi momento, ma vogliamo solo ridurre il gaussiano. Speriamo, finalmente, e se non restiamo bloccati ai minimi locali, otterremmo la matrice di missaggio all'indietro e otterremo il nostro indep. segnali di ritorno.X 1 , X 2 { b i j$\{b_{ij}\}$$X_1,X_2$$\{b_{ij}\}$

Naturalmente, questo aggiunge un altro presupposto: i due segnali devono essere non gaussiani per cominciare.

Molto semplice. Immagina che tu, tua nonna e i membri della famiglia siano riuniti attorno al tavolo. I gruppi più numerosi di persone tendono a separarsi laddove l'argomento chat è specifico per quel sottogruppo. Tua nonna è seduta lì e sente il rumore di tutte le persone che parlano, quella che sembra essere solo una cacofonia. Se si rivolge a un gruppo, può isolare chiaramente le discussioni in un gruppo di adolescenti / giovani, se si rivolge all'altro gruppo, può isolare le chat degli adulti.

Per riassumere, l'ICA riguarda l'isolamento o l'estrazione di un segnale specifico (una persona o un gruppo di persone che parlano) da una miscela di segnali (folla che parla).