Statistiche e Big Data tsne

6

Ho un'applicazione in cui sarebbe utile raggruppare un set di dati rumorosi prima di cercare effetti di sottogruppo all'interno dei cluster. Ho esaminato PCA per la prima volta, ma sono necessari circa 30 componenti per arrivare al 90% della variabilità, quindi il clustering su un paio di PC genererà molte …

78 clustering interpretation k-means tsne

3

Ci sono casi in cui PCA è più adatto di t-SNE?

Voglio vedere come 7 misure del comportamento di correzione del testo (tempo impiegato per correggere il testo, numero di sequenze di tasti, ecc.) Si relazionano tra loro. Le misure sono correlate. Ho eseguito un PCA per vedere come le misure proiettavano su PC1 e PC2, evitando così la sovrapposizione dell'esecuzione …

39 pca tsne

1

Perché utilizziamo la divergenza di Kullback-Leibler anziché l'entropia incrociata nella funzione obiettivo t-SNE?

Nella mia mente, la divergenza di KL dalla distribuzione del campione alla distribuzione vera è semplicemente la differenza tra entropia incrociata ed entropia. Perché utilizziamo l'entropia incrociata come funzione di costo in molti modelli di apprendimento automatico, ma utilizziamo la divergenza di Kullback-Leibler in t-sne? C'è qualche differenza nella velocità …

39 kullback-leibler tsne cross-entropy

2

Quando t-SNE è fuorviante?

Citando uno degli autori: t-Distributed Stochastic Neighbor Embedding (t-SNE) è una tecnica ( premiata ) per la riduzione della dimensionalità che è particolarmente adatta per la visualizzazione di set di dati ad alta dimensione. Quindi suona abbastanza bene, ma è l'autore a parlare. Un'altra citazione dell'autore (in riferimento al suddetto …

37 data-visualization dimensionality-reduction tsne

3

Perché t-SNE non viene utilizzato come tecnica di riduzione della dimensionalità per il clustering o la classificazione?

In un recente incarico, ci è stato detto di utilizzare PCA sulle cifre MNIST per ridurre le dimensioni da 64 (8 x 8 immagini) a 2. Abbiamo quindi dovuto raggruppare le cifre utilizzando un modello di miscela gaussiana. La PCA che utilizza solo 2 componenti principali non produce cluster distinti …

34 classification clustering pca dimensionality-reduction tsne

4

Cosa c'è di sbagliato in t-SNE vs PCA per la riduzione dimensionale usando R?

Ho una matrice di numeri in virgola mobile 336x256 (336 genomi batterici (colonne) x 256 frequenze di tetranucleotidi normalizzate (righe), ad esempio ogni colonna aggiunge fino a 1). Ottengo buoni risultati quando eseguo la mia analisi utilizzando l'analisi dei componenti principali. Per prima cosa, calcolo i cluster di kmean sui …

27 r pca tsne

3

La riduzione della dimensionalità per la visualizzazione dovrebbe essere considerata un problema "chiuso", risolto da t-SNE?

Ho letto molto sull'algoritmo -sne per la riduzione della dimensionalità. Sono rimasto molto colpito dalle prestazioni su set di dati "classici", come MNIST, in cui raggiunge una chiara separazione delle cifre ( vedi articolo originale ):ttt L'ho anche usato per visualizzare le funzionalità apprese da una rete neurale che mi …

23 clustering data-visualization dimensionality-reduction high-dimensional tsne

1

t-SNE contro MDS

Recentemente ho letto alcune domande su t-SNE ( t-Distributed Stochastic Neighbor Embedding ) e ho anche visitato alcune domande su MDS ( Multidimensional Scaling ). Sono spesso usati in modo analogo, quindi mi è sembrata una buona idea fare questa domanda visto che qui ci sono molte domande su entrambi …

21 data-visualization dimensionality-reduction multidimensional-scaling tsne

5

Esistono versioni di t-SNE per lo streaming dei dati?

La mia comprensione di t-SNE e dell'approssimazione di Barnes-Hut è che tutti i punti dati sono richiesti in modo che tutte le interazioni di forza possano essere calcolate contemporaneamente e ogni punto possa essere regolato nella mappa 2d (o di dimensione inferiore). Esistono versioni di t-sne in grado di gestire …

19 data-visualization dimensionality-reduction multidimensional-scaling tsne

1

I dati devono essere centrati + ridimensionati prima di applicare t-SNE?

Alcune funzionalità dei miei dati hanno valori elevati, mentre altre hanno valori molto più piccoli. È necessario centrare + ridimensionare i dati prima di applicare t-SNE per evitare distorsioni verso valori più grandi? Uso l'implementazione sklearn.manifold.TSNE di Python con la metrica di distanza euclidea predefinita.

18 normalization dimensionality-reduction high-dimensional tsne

3

Scelta degli iperparametri usando T-SNE per la classificazione

Nel problema specifico con cui lavoro (una competizione) ho l'impostazione seguente: 21 caratteristiche (numeriche su [0,1]) e un'uscita binaria. Ho circa 100 K righe. L'ambientazione sembra essere molto rumorosa. Io e altri partecipanti applichiamo la generazione di funzionalità per un po 'e l'incorporamento stocastico distribuito a t distribuito si è …

13 machine-learning dimensionality-reduction unsupervised-learning tsne

1

Qual è il significato degli assi in t-SNE?

Attualmente sto cercando di avvolgere la mia testa attorno alla matematica t-SNE . Sfortunatamente, c'è ancora una domanda a cui non posso rispondere in modo soddisfacente: qual è il significato effettivo degli assi in un grafico t-SNE? Se dovessi fare una presentazione su questo argomento o includerlo in qualsiasi pubblicazione: …

12 machine-learning dimensionality-reduction tsne

1

Quale algoritmo di classificazione si dovrebbe usare dopo aver visto che t-SNE separa bene le classi?

Supponiamo che abbiamo un problema di classificazione e all'inizio vogliamo ottenere alcune informazioni dai dati e facciamo t-SNE. Il risultato di t-SNE separa molto bene le classi. Ciò implica che è possibile costruire un modello di classificazione che separa molto bene le classi (se t-SNE non si separa bene, non …

12 classification tsne

1

A cosa serve t-SNE, a parte la visualizzazione dei dati?

In quali situazioni dovremmo usare t-SNE (oltre alla visualizzazione dei dati)? T-SNE viene utilizzato per la riduzione della dimensionalità. La risposta a questa domanda suggerisce che t-SNE dovrebbe essere usato solo per la visualizzazione e che non dovremmo usarlo per il clustering. Allora a che serve t-SNE?

12 data-visualization dimensionality-reduction tsne

4

Quali sono le differenze tra i codificatori automatici e il t-SNE?

Per quanto ne so, sia gli autocodificatori che il t-SNE sono utilizzati per la riduzione della dimensionalità non lineare. Quali sono le differenze tra loro e perché dovrei usare l'uno contro l'altro?

12 neural-networks deep-learning dimensionality-reduction autoencoders tsne

Domande taggate «tsne»