Test di associazione per un DV normalmente distribuito da variabili direzionali indipendenti?

Esiste un test di ipotesi per stabilire se una variabile dipendente normalmente distribuita è associata a una variabile distribuita direzionalmente ?

Ad esempio, se l' ora del giorno è la variabile esplicativa (e supponendo che cose come il giorno della settimana, il mese dell'anno, ecc. Sono irrilevanti), ecco come spiegare il fatto che le 23:00 sono 22 ore in anticipo rispetto all'01: 00 e anche 2 ore dopo l' una in un test di associazione? Posso verificare se l'ora continua del giorno spiega la variabile dipendente senza supporre che la mezzanotte alle 12:00 non segua un minuto dopo le 23:59?

Questo test si applica anche a variabili esplicative direzionali discrete ( modulari ?)? O questo richiede un test separato? Ad esempio, come verificare se la variabile dipendente è spiegata per mese dell'anno (presupponendo giorno e stagione dell'anno e anno o decennio specifici sono irrilevanti). Il trattamento del mese dell'anno ignora categoricamente l'ordinamento. Ma trattare il mese dell'anno come una variabile ordinale standard (diciamo Jan = 1 ... Dic = 12) ignora che gennaio arriva due mesi dopo novembre.

In generale, penso che sia più fruttuoso scientificamente e statisticamente iniziare ponendo una domanda più ampia e diversa, che è fino a che punto è possibile prevedere una risposta da un predittore circolare. Dico circolare qui piuttosto che direzionale , in parte perché quest'ultimo include spazi sferici e persino più favolosi, che non possono essere coperti in un'unica risposta; e in parte perché i tuoi esempi, ora del giorno e periodo dell'anno , sono entrambi circolari. Un altro esempio importante è la direzione della bussola (rilevante per venti, movimenti di animali o umani, allineamenti, ecc.), Che presenta molti problemi circolari: in effetti, per alcuni scienziati è un punto di partenza più ovvio.

Ogni volta che puoi cavartela, usare le funzioni seno e coseno del tempo in una sorta di modello di regressione è un metodo di modellazione semplice e facile da implementare. È il primo punto di riferimento per molti esempi biologici e / o ambientali. (I due tipi sono spesso messi insieme, perché i fenomeni biotici che mostrano la stagionalità di solito rispondono direttamente o indirettamente al clima o agli agenti atmosferici.)

Per concretezza, immagina misurazioni del tempo nell'arco di 24 ore o 12 mesi, in modo che es

$\sin [2\pi (\text{hour}/24)],\ \ \cos [2\pi (\text{hour}/24)]$

$\sin [2\pi (\text{month}/12)],\ \ \cos [2\pi (\text{month}/12)]$

ognuno descrive un ciclo per l'intero giorno o anno. Un test formale di nessuna relazione tra una risposta misurata o contata e un certo tempo circolare sarebbe quindi un test standard per stabilire se i coefficienti di seno e coseno sono congiuntamente zero in un modello lineare generalizzato con seno e coseno come fattori predittivi, un legame appropriato e una famiglia essere scelto in base alla natura della risposta.

La questione della distribuzione marginale della risposta (normale o altro) è in questo approccio secondario e / o gestita dalla scelta della famiglia.

Il merito dei seni e dei coseni è naturalmente che sono periodici e si avvolgono automaticamente, quindi i valori all'inizio e alla fine di ogni giorno o anno sono necessariamente gli stessi. Non ci sono problemi con le condizioni al contorno, perché non c'è limite.

Questo approccio è stato chiamato regressione circolare, periodica, trigonometrica e di Fourier. Per una revisione introduttiva del tutorial, vedi qui

In pratica,

1. Tali test di solito mostrano risultati straordinariamente significativi a livelli convenzionali ogni volta che ci aspettiamo una stagionalità. La domanda più interessante è quindi la curva stagionale precisa stimata e se abbiamo bisogno di un modello più complicato anche con altri termini sinusoidali.

2. Nulla esclude anche altri predittori, nel qual caso abbiamo semplicemente bisogno di modelli più completi con altri predittori inclusi, ad esempio seni e coseni per la stagionalità e altri predittori per tutto il resto.

3. Ad un certo punto, dipendendo congiuntamente dai dati, dal problema, dai gusti e dall'esperienza del ricercatore, può diventare più naturale enfatizzare l'aspetto delle serie temporali del problema e costruire un modello con dipendenza temporale esplicita. In effetti, alcune persone statisticamente negherebbero che esiste un altro modo per affrontarlo.

Ciò che viene facilmente definito come tendenza (ma non sempre così facilmente identificabile) rientra in n. 2 o n. 3, o anche in entrambi.

Molti economisti e altri studiosi di scienze sociali interessati alla stagionalità nei mercati, nelle economie nazionali e internazionali o in altri fenomeni umani sono di solito più colpiti dalle possibilità di una variabilità più complicata all'interno di ogni giorno o (più comunemente) anno. Spesso, anche se non sempre, la stagionalità è una seccatura da eliminare o da adattare, a differenza degli scienziati biologici e ambientali che spesso considerano la stagionalità interessante e importante, anche l'obiettivo principale di un progetto. Detto questo, anche gli economisti e altri spesso adottano un approccio di tipo regressivo, ma con le munizioni un fascio di variabili indicatore (fittizie), più semplicemente variabili per ogni mese o trimestre di un anno$0, 1$. Questo può essere un modo pratico per cercare di catturare gli effetti di vacanze, periodi di vacanza, effetti collaterali degli anni scolastici, ecc., Nonché influenze o shock di origine climatica o meteorologica. Con queste differenze notate, la maggior parte dei commenti sopra si applica anche in scienze economiche e sociali.

Gli atteggiamenti e gli approcci di epidemiologi e statistici medici interessati alle variazioni di morbilità, mortalità, ricoveri ospedalieri, visite cliniche e simili, tendono a incidere tra questi due estremi.

A mio avviso, dividere i giorni o gli anni a metà per confrontarli è di solito arbitrario, artificiale e nella migliore delle ipotesi scomodo. Sta anche ignorando il tipo di struttura liscia tipicamente presente nei dati.

MODIFICA Finora l'account non affronta la differenza tra tempo discreto e tempo continuo, ma dalla mia esperienza non lo considero un grosso problema in pratica.

Ma le scelte precise dipendono da come arrivano i dati e dal modello di cambiamento.

Se i dati fossero trimestrali e umani, tenderei a utilizzare le variabili degli indicatori (ad esempio, i trimestri 3 e 4 sono spesso diversi). Se mensile e umana, la scelta non è chiara, ma dovresti lavorare sodo per vendere seni e coseni alla maggior parte degli economisti. Se mensile o più fine e biologico o ambientale, sicuramente seno e coseno.

EDIT 2 Ulteriori dettagli sulla regressione trigonometrica

Un dettaglio distintivo della regressione trigonometrica (chiamato in altro modo se si preferisce) è che quasi sempre i termini seno e coseno sono presentati al meglio in un modello in coppia. Per prima cosa scaliamo l'ora del giorno, l'ora dell'anno o la direzione della bussola in modo che sia rappresentato come un angolo sul cerchio in radianti, quindi sull'intervallo [ 0 , 2 π ] . Quindi usiamo tante coppie sin k θ , cos k θ , k = 1 , 2 , 3 , $\theta$$[0, 2\pi]$$\sin k\theta, \cos k\theta, k = 1, 2, 3, \dots$come sono necessari in un modello. (Nelle statistiche circolari, le convenzioni trigonometriche tendono a superare le convenzioni statistiche, in modo che simboli greci come sono usati sia per variabili che per parametri.)$\theta, \phi, \psi$

$\sin \theta, \cos \theta$$b_1, b_2$$b_1 \sin \theta, b_2 \cos \theta$$\sin (\theta + \phi)$

$\cos \phi$$\sin \phi$

$b_1 \sin \theta + b_2 \cos \theta$

Ecco un'opzione senza distribuzione, poiché sembra che sia quello che stai cercando comunque. Non è particolare nel campo delle statistiche circolari, di cui sono abbastanza ignorante, ma è applicabile qui e in molti altri contesti.

$X$

$Y$$\mathbb R^d$$d \ge 1$

$Z := (X, Y)$$m$$z_i = (x_i, y_i)$

Ora, esegui un test usando il criterio di indipendenza di Hilbert Schmidt (HSIC), come nel seguente documento:

Gretton, Fukumizu, Teo, Song, Schölkopf e Smola. Un test statistico dell'indipendenza del kernel. NIPS 2008. ( pdf )

Questo è:

• $k$$X$

  • $X$$\mathbb R^2$$k(x, x') = \exp\left( - \frac{1}{2 \sigma^2} \lVert x - x' \rVert^2 \right)$$\sigma$$X$
  • Un'altra opzione è rappresentare come un angolo, dire in e usare il kernel von Mises . Qui è un parametro di scorrevolezza. ¹$X$$[-\pi, \pi]$$k(x, x') = \exp\left( \kappa \cos(x - x') \right)$$\kappa$

• Definire un kernel per , allo stesso modo. Per in il kernel gaussiano, sopra, è un default ragionevole.$l$$Y$$Y$$\mathbb R^n$

• Let , e siano matrici tale che , , e è la matrice centraggio . Quindi la statistica test ha delle belle proprietà quando viene usata come test di indipendenza. La sua distribuzione nulla può essere approssimata o adattando il momento a una distribuzione gamma (efficiente dal punto di vista computazionale), oppure mediante bootstrap (più preciso per campioni di piccole dimensioni).$H$$K$$L$$m \times m$$K_{ij} = k(x_i, x_j)$$L_{ij} = l(y_i, y_j)$$H$ $H = I - \frac1m 1 1^T$$\frac{1}{m^2} \mathrm{tr}\left( K H L H \right)$

Il codice Matlab per eseguire questa operazione con i kernel RBF è disponibile dal primo autore qui .

Questo approccio è carino perché è generale e tende a funzionare bene. Gli svantaggi principali sono:

• $m^2$ complessità computazionale per calcolare la statistica del test; questo può essere ridotto con approssimazioni del kernel se è un problema.
• La complicata distribuzione nulla. Per grande-ish , l'approssimazione gamma è buono e non troppo onerosa; per piccoli , è necessario il bootstrap.$m$$m$
• Scelta del kernel. Come sopra menzionato, i noccioli e deve essere selezionata in modo euristico. Questo documento fornisce un criterio non ottimale per la selezione del kernel; questo documento presenta un buon metodo per una versione di grandi dimensioni del test che purtroppo perde potere statistico. Alcuni lavori sono attualmente in corso per un criterio quasi ottimale in questo contesto, ma sfortunatamente non è ancora pronto per il consumo pubblico.$k$$l$

È possibile eseguire un test t tra la media dalle "metà" opposte del periodo, ad esempio confrontando il valore medio dalle 12:00 alle 12:00 con il valore medio dalle 12:00 alle 12:00. E quindi confrontare il valore medio dalle 6:00 alle 6:00 con il valore medio dalle 6:00 alle 18:00.

Oppure, se disponi di dati sufficienti, puoi suddividere il periodo in segmenti più piccoli (ad es. Ogni ora) ed eseguire un test t tra ciascuna coppia di segmenti, correggendo al contempo più confronti.

In alternativa, per un'analisi più "continua" (ovvero senza segmentazione arbitraria), è possibile eseguire regressioni lineari contro le funzioni seno e coseno della variabile direzionale (con il periodo corretto), che "circolaranno" automaticamente i dati:

Il problema principale con tale approccio è che sarà difficile garantire che la fase del modello sia impostata per individuare la massima correlazione, quindi potrebbe essere necessario provare diverse fasi, oppure selezionare la fase a occhio per formulare il tuo valore ipotetico :$a$

Tuttavia, idealmente si dovrebbe formulare la tua ipotesi (ad esempio, i pomeriggi sono più attivi di mattina) e quindi impostare l'appropriata prima ancora di guardare i dati.$a$

EDIT: un altro pensiero è che potresti eseguire una regressione multipla contro ENTRAMBE le funzioni seno e coseno della variabile direzionale allo stesso tempo (cioè tra la tua normale variabile più e ) in quanto ciò dovrebbe tener conto la vera "direzione", più o meno allo stesso modo in cui le funzioni seno e coseno definiscono insieme le coordinate xey di un cerchio completo. Quindi non dovrai preoccuparti del problema di fase separatamente, poiché verrebbe risolto automaticamente. Non l'ho mai visto prima, ma non vedo perché non dovrebbe funzionare.x ′ x $y$$x'$$x''$

In ogni caso, penso che tu debba fare alcune ipotesi riguardo al periodo, e quindi testare di conseguenza.