Come rappresentare una variabile senza limiti come numero compreso tra 0 e 1

Voglio rappresentare una variabile come un numero compreso tra 0 e 1. La variabile è un numero intero non negativo senza limite intrinseco. Mappa da 0 a 0 ma cosa posso mappare a 1 o numeri tra 0 e 1?

Potrei usare la cronologia di quella variabile per fornire i limiti. Ciò significherebbe che dovrei riformulare vecchie statistiche se il massimo aumenta. Devo farlo o ci sono altri trucchi che dovrei conoscere?

Un trucco molto comune per farlo (ad es. Nella modellistica connessionista) è usare la tanh tangente iperbolica come 'funzione di schiacciamento'. Adatta automaticamente tutti i numeri nell'intervallo tra -1 e 1. Che nel tuo caso limita l'intervallo da 0 a 1. In re matlablo ottieni via tanh().

Un'altra funzione di compressione è la funzione logistica (grazie a Simon per il nome), fornita da , che limita l'intervallo da 0 a 1 (con 0 mappato a. 5). Quindi dovresti moltiplicare il risultato per 2 e sottrarre 1 per adattare i tuoi dati nell'intervallo tra 0 e 1.$f(x) = 1 / (1 + e ^{-x} )$

Ecco un semplice codice R che traccia entrambe le funzioni (tanh in rosso, logistica in blu) in modo da poter vedere come entrambe le squash:

x <- seq(0,20,0.001)
plot(x,tanh(x),pch=".", col="red", ylab="y")
points(x,(1 / (1 + exp(-x)))*2-1, pch=".",col="blue")

Come spesso, la mia prima domanda sarebbe stata " perché vuoi farlo", poi ho visto che hai già risposto a questo nei commenti alla domanda: " Sto misurando il contenuto in molte dimensioni diverse e voglio essere in grado di fare confronti in termini di pertinenza di un determinato contenuto. Inoltre, desidero visualizzare valori spiegabili e facilmente comprensibili in queste dimensioni " .

Non c'è motivo di normalizzare i dati in modo che il massimo sia 1 e il minimo sia zero per raggiungere questo obiettivo, e la mia opinione è che questa sarebbe una cattiva idea in generale . I valori massimo o minimo potrebbero facilmente essere valori anomali che non rappresentano la distribuzione della popolazione. L'osservazione di separazione di @osknows sull'uso di -scores è un'idea molto migliore$z$ . punteggi (noti anche come punteggi standard) normalizzano ogni variabile usando la sua deviazione standard anziché il suo intervallo. La deviazione standard è meno influenzata dai valori anomali. Per usare$z$$z$-scores, è preferibile che ogni variabile abbia una distribuzione approssimativamente normale, o almeno abbia una distribuzione approssimativamente simmetrica (cioè non è fortemente inclinata) ma se necessario è possibile applicare prima una trasformazione dei dati appropriata per raggiungere questo obiettivo; quale trasformazione usare potrebbe essere determinata trovando la trasformazione Box-Cox più adatta .

Qualsiasi funzione sigmoid funzionerà:

• La metà superiore della funzione logistica (moltiplicare per 2, sottrarre 1)
• La funzione di errore
• tanh, come suggerito da Henrik.

Oltre ai buoni suggerimenti di Henrik e Simon Byrne, puoi usare f (x) = x / (x + 1). A titolo di confronto, la funzione logistica esagererà le differenze man mano che x diventa più grande. Cioè, la differenza tra f (x) ef (x + 1) sarà maggiore con la funzione logistica che con f (x) = x / (x + 1). Potresti o meno volere quell'effetto.

Il mio post precedente ha un metodo per classificare tra 0 e 1. Consigli sulla correlazione dell'input del classificatore

Tuttavia, nella classifica che ho usato, Tmin / Tmax utilizza il campione min / max ma potresti trovare la popolazione min / max più appropriata. Cerca anche i punteggi z

Per aggiungere alle altre risposte suggerendo pnorm ...

Per un metodo potenzialmente ottimale per la selezione dei parametri suggerisco questa approssimazione per pnorm.

1.0/(1.0+exp(-1.69897*(x-mean(x))/sd(x)))

Questa è essenzialmente la normalizzazione di Softmax.

Riferimento Pnorm in un pizzico

Esistono due modi per implementare questo che uso comunemente. Lavoro sempre con dati in tempo reale, quindi questo presuppone un input continuo. Ecco alcuni pseudo-codice:

Utilizzando una minmax allenabile:

define function peak:
    // keeps the highest value it has received

define function trough:
    // keeps the lowest value it has received

define function calibrate:
    // toggles whether peak() and trough() are receiving values or not

define function scale:
    // maps input range [trough.value() to peak.value()] to [0.0 to 1.0]

Questa funzione richiede che tu esegua una fase iniziale di allenamento (usando calibrate()) o che ti alleni di nuovo a determinati intervalli o in base a determinate condizioni. Ad esempio, immagina una funzione come questa:

define function outBounds (val, thresh):
    if val > (thresh*peak.value()) || val < (trough.value() / thresh):
        calibrate()

il picco e il trogolo normalmente non ricevono valori, ma se outBounds()riceve un valore superiore di 1,5 volte il picco corrente o inferiore al trogolo corrente diviso per 1,5, calibrate()viene chiamato che consente alla funzione di ricalibrare automaticamente.

Utilizzando una minmax storica:

var arrayLength = 1000
var histArray[arrayLength]

define historyArray(f):
    histArray.pushFront(f) //adds f to the beginning of the array

define max(array):
    // finds maximum element in histArray[]
    return max

define min(array):
    // finds minimum element in histArray[]
    return min

define function scale:
    // maps input range [min(histArray) to max(histArray)] to [0.0 to 1.0]

main()
historyArray(histArray)
scale(min(histArray), max(histArray), histArray[0])
// histArray[0] is the current element

Un'opzione molto semplice è quella di dividere ogni numero nei tuoi dati per il numero più grande nei tuoi dati. Se hai molti numeri piccoli e alcuni numeri molto grandi, questo potrebbe non trasmettere bene le informazioni. Ma è relativamente facile; se ritieni che informazioni significative vadano perse quando grafici i dati in questo modo, potresti provare una delle tecniche più sofisticate che altri hanno suggerito.