Le dimensioni di t-sne sono significative?

Ci sono significati per le dimensioni di un inclusione t-sne? Come con PCA, abbiamo questo senso di massimizzazioni della varianza linearmente trasformate, ma per t-sne esiste un'intuizione oltre allo spazio che definiamo per la mappatura e la minimizzazione della distanza KL?

dimensionality-reduction tsne

— Nitro
fonte

Non sono sicuro che questo arrivi davvero a quello che stai chiedendo, ma credo che le dimensioni di t-sne dipendono davvero solo dalla separabilità dei dati. Le dimensioni possono cambiare in base allo stesso set di dati poiché si tratta di una trasformazione non lineare. Quindi le dimensioni possono essere veramente interpretate solo nel contesto di una determinata istanza. Fammi sapere se sbaglio, è una domanda interessante.

— Hobbes

Forse è solo noioso vecchio ℝ3?

— Nitro

Le dimensioni dello spazio dimensionale basso non hanno significato. Si noti che la funzione di perdita t-SNE si basa esclusivamente sulle distanze tra i punti ( e ) e sulle distribuzioni di probabilità su tali distanze ( e ): $y_i$ $y_j$ $p_{ij}$ $q_{ij}$

\frac{δ C}{δ y_{i}} = 4 \sum_{j} (p_{i j} - q_{i j}) (y_{i} - y_{j}) (1 + | | y_{i} - y_{j} | |^{2})^{- 1}

$\frac{\delta C}{\delta y_i}=4 \sum_j(p_{ij} - q_{ij})(y_i-y_j)(1+||y_i -y_j||^2)^{-1}$

Pertanto, non vi è alcuna proiezione dall'intero spazio ad alta dimensione allo spazio a bassa dimensione, t-SNE trova solo una mappatura da un insieme specifico di punti ad alta dimensione a un insieme specifico di punti a bassa dimensione. Poiché non esiste alcuna funzione da uno spazio all'altro, non esiste alcun significato intrinseco degli assi.

Cose che puoi immaginare per illustrare questo:

La rotazione o la traduzione dello spazio ad alta o bassa dimensione non influenza le distanze tra i punti. Pertanto, t-SNE non si preoccupa della rotazione o della traduzione in entrambi gli spazi. Pertanto, non esiste un'interpretazione assoluta degli assi.
La distribuzione t-Student ha code grasse. Questo fa sì che la rappresentazione a bassa dimensione sia invariante ai cambiamenti nei punti che sono lontani nello spazio ad alta dimensione. Ciò provoca anche che punti che sono lontani nello spazio ad alta dimensione possono essere ragionevolmente molto lontani, molto lontani o molto lontani nello spazio dimensionale basso. In questo senso allunga alcune parti degli assi a bassa dimensione (in qualsiasi direzione arbitraria).

Detto questo, t-SNE è principalmente una tecnica di visualizzazione e la sua efficacia di riduzione dimensionale per altri scopi non è ovvia (probabilmente non adatta per il clustering, l'estrazione o la selezione delle funzionalità).

Inoltre: la carta .

— Pieter
fonte