Qual è il motivo alla base della trasformazione del log di poche variabili continue?

Ho riscontrato un problema di classificazione e ho letto il codice e le esercitazioni di molte persone. Una cosa che ho notato è che molte persone prendono np.logo logdi variabili continue come loan_amounto applicant_incomeecc.

Voglio solo capire il motivo dietro. Aiuta a migliorare la precisione della previsione del nostro modello. È obbligatorio? o c'è qualche logica dietro?

Si prega di fornire alcune spiegazioni se possibile. Grazie.

Questo viene fatto quando le variabili si estendono su più ordini di grandezza. Il reddito è un tipico esempio: la sua distribuzione è "legge del potere", il che significa che la stragrande maggioranza dei redditi è piccola e pochissimi sono grandi.

Questo tipo di distribuzione "a coda grassa" è studiato in scala logaritmica a causa delle proprietà matematiche del logaritmo:

il che implica

e

che trasforma una grande differenza

Principalmente a causa della distribuzione distorta. Il logaritmo riduce naturalmente la gamma dinamica di una variabile in modo che le differenze vengano preservate mentre la scala non è così drasticamente distorta. Immagina che alcune persone abbiano ottenuto 100.000.000 di prestiti e alcune abbiano ottenuto 10000 e alcune 0. Qualsiasi ridimensionamento delle funzioni probabilmente metterà 0 e 10000 così vicini l'uno all'altro poiché il numero più grande supera comunque il limite. Il logaritmo risolve il problema.

$\log{x}$$0 < x < \infty$$-\infty < \log{x} <\infty$

$x$

Ancora un altro motivo per cui le trasformazioni logaritmiche sono utili entra in gioco per i dati di rapporto, a causa del fatto che log(A/B) = -log(B/A). Se tracciate una distribuzione di rapporti sulla scala grezza, i vostri punti rientrano nell'intervallo (0, Inf). Qualsiasi rapporto inferiore a 1 verrà schiacciato in una piccola area della trama e, inoltre, la trama apparirà completamente diversa se si inverte il rapporto (B/A)anziché (A/B). Se lo fai su una scala logaritmica, l'intervallo è ora (-Inf, +Inf), il che significa che i rapporti inferiori a 1 e maggiori di 1 sono più equamente distribuiti. Se decidi di invertire il rapporto, capovolgi semplicemente la trama intorno a 0, altrimenti sembra esattamente la stessa. Su una scala di registro, non importa se mostri un rapporto come 1/10 or 10/1, che è utile quando non c'è una scelta ovvia su quale dovrebbe essere.

Dovresti guardare la distribuzione lognormale .

Le persone possono usare i registri perché pensano che comprime la scala o qualcosa del genere, ma l'uso principale dei registri è che si sta lavorando con dati che hanno una distribuzione lognormale. Tenderanno ad essere cose come salari, prezzi delle case, ecc., Dove tutti i valori sono positivi e la maggior parte sono relativamente modesti, ma alcuni sono molto grandi.

Se riesci a prendere il registro dei dati e diventa normale, puoi sfruttare molte caratteristiche di una distribuzione normale, come media ben definita, deviazione standard (e quindi punteggi z), simmetria, ecc.

Allo stesso modo, l'aggiunta di registri è la stessa della moltiplicazione dei valori non registrati. Ciò significa che hai trasformato una distribuzione in cui gli errori sono additivi in ​​uno in cui sono moltiplicativi (ovvero basati su percentuale). Poiché tecniche come la regressione OLS richiedono una normale distribuzione degli errori, l'utilizzo dei log estende la loro applicabilità da processi additivi a processi moltiplicativi.

Direi che il motivo principale non è distributivo ma piuttosto a causa della relazione non lineare. I registri spesso acquisiscono relazioni sature ...