Cosa succede quando si applica SVD a un problema di filtro collaborativo? Qual è la differenza tra i due?

Nel filtro collaborativo, abbiamo valori che non sono stati inseriti. Supponiamo che un utente non abbia guardato un film, quindi dobbiamo inserire un "na".

Se ho intenzione di prendere un SVD di questa matrice, allora devo inserire un numero in essa - diciamo 0. Ora se fattorizzo la matrice, ho un metodo per trovare utenti simili (scoprendo quali utenti sono più vicini tra loro in lo spazio dimensionale ridotto). Ma la preferenza prevista stessa - per un utente a un articolo sarà zero. (perché è quello che abbiamo inserito nelle colonne sconosciute).

Quindi sono bloccato dal problema del filtro collaborativo vs SVD. Sembrano essere quasi uguali, ma non del tutto.

Qual è la differenza tra loro e cosa succede quando applico un SVD a un problema di filtro collaborativo? L'ho fatto e i risultati sembrano accettabili in termini di ricerca di utenti nelle vicinanze, il che è fantastico, ma come?

$\DeclareMathOperator*{\argmin}{arg\,min}$ Ok, quando dici SVD, presumibilmente stai parlando di SVD troncato (dove mantieni solo i più grandi valori singolari). Esistono due modi diversi di esaminare il file SVD troncato di una matrice. Uno è la definizione standard:$k$

Per prima cosa esegui SVD: , dove e sono matrici di rotazione e ha i valori singolari lungo la diagonale. Quindi scegli i primi valori singolari, azzera il resto e elimina le righe e le colonne irrilevanti per fare un'approssimazione di -rank all'originale: UVΣkkX≈ ˜ X = ˜ U n × k k × k ˜ Σ ˜ V T k × $\underset{n\times m}{X} = \underset{n\times n}{U} \overset{n\times m}{\Sigma} \underset{m\times m}{V^T}$$U$$V$$\Sigma$$k$$k$$X \approx \tilde{X} = \underset{n\times k}{\tilde{U}} \overset{k\times k}{\tilde{\Sigma}} \underset{k\times m}{\tilde{V}^T}$

Tutto questo va bene e dandy (e facile da implementare in R o matlab), ma non ha senso quando si parla di matrici con valori mancanti. Tuttavia, c'è un'interessante proprietà dell'SVD troncato - È la migliore approssimazione -rank dell'originale! Questo è:$k$$k$

$\tilde{X} = \argmin_{B : rank(B)=k} \displaystyle\sum\limits_{i,j} (X_{ij} - B_{ij})^2$

Questa proprietà sembra facile da generalizzare al caso del valore mancante. Fondamentalmente stai cercando una matrice -rank che minimizzi l'errore quadratico medio in termini di elementi attraverso le voci conosciute della matrice originale. Cioè, quando si allena il sistema, si ignorano tutti i valori mancanti. (Per suggerimenti su come potresti effettivamente trovare una approssimazione -rank, qui ci sono alcuni posti in cui cercare).$k$$k$

Quindi, una volta che hai trovato un'approssimazione -rank opportunamente "vicina" all'originale, la usi per riempire i valori mancanti. Cioè, se mancava , allora si compila . Tada! Ora hai finito.X i j ˜ X i $k$$X_{ij}$$\tilde{X}_{ij}$

Sembra che ci siano molti approcci su come gestire i valori mancanti. Il seguente documento con revisione nella Sezione 1.3 può essere un buon punto di partenza.

Ho bisogno di più reputazione per commentare la risposta di Stumpy Joe Pete, quindi inserisco questo come risposta.

Stumpy grazie per la risposta, anche se penso che abbia bisogno di un po 'di chiarimenti. In particolare intendo questa frase:

Fondamentalmente stai cercando una matrice di grado k che minimizzi l'errore quadratico medio in termini di elementi attraverso le voci conosciute della matrice originale.

Primo: il grado più alto non minimizzerebbe sempre questo, o ricostruirà effettivamente la matrice X originale? Secondo: perché dovresti prendere solo le voci conosciute . Intuitivamente ha senso, ma in realtà la procedura si adatta anche ai posti vuoti che sono stati sostituiti con alcuni numeri ragionevoli.

Il mio approccio sarebbe quello di realizzare qualcosa come una validazione incrociata:

1. Riempi i posti vuoti con 0 o mezzi o un altro numero ragionevole.
2. Sostituisci uno degli n elementi noti con 0 o un numero ragionevole
3. Effettuare la ricostruzione SVD di rango k
4. Controllare il valore dell'elemento ricostruito noto .
5. ripetere per tutti i possibili elementi noti e calcolare MSE
6. ripetere per tutti i k possibili e scegliere quello con MSE più basso.