Come posso includere effetti casuali (o misure ripetute) in una foresta casuale

22

Non sono nemmeno sicuro che la domanda abbia molto senso, ma penso di aver visto un paio di titoli di articoli in cui proponevano foreste casuali con effetti casuali. È possibile in R?

r random-forest random-effects-model

— mguzmann
fonte

1

Sì, non ha molto senso. Cosa intendi con effetti casuali?

— Simone,

Sto pensando a qualcosa di simile a quello che puoi fare con la funzione lmer in cui puoi includere un effetto casuale come (1 | effect).

— mguzmann,

Quindi questa è una ricottura simulata su una foresta casuale? econpapers.repec.org/article/bpjjqsprt/… researchgate.net/publication/…

— EngrStudent - Ripristina Monica

2

Non sono del tutto sicuro di quale tipo di casualità siano i metodi che stai esaminando gli indirizzi. Le foreste casuali sono un semplice miglioramento rispetto all'insacco decorrelando l'albero. Il motivo per cui viene chiamato "casuale" è il fatto che in ogni caso, quando una divisione viene considerata in un albero, il candidato alla divisione viene scelto da un sottoinsieme casuale di predittori detti p. Di solito, m ~ sqrt (p). E ogni volta che si verifica una divisione, viene scelto un sottoinsieme casuale di predittori, quindi foresta casuale.

— psteelk,

13

Non sono comunemente usati insieme e bisogna fare attenzione prima di combinarli.

Le foreste casuali sono in genere utilizzate come classificatori. Il motivo per cui dovresti usare una foresta casuale invece di un altro metodo (ad esempio K-significa raggruppare) è che potresti avere un gran numero di dimensioni che vuoi classificare. Il problema di avere un gran numero di dimensioni è che se si volesse testare tutte le combinazioni di ordini di dimensioni, si avrebbe un gran numero di scelte (cresce più velocemente del numero di dimensioni fattoriale).

Gli effetti casuali vengono generalmente utilizzati in regressione con misure ripetute della stessa cosa. Sono comunemente usati nei modelli di effetti misti in cui il termine misto si riferisce a effetti sia fissi che casuali. Si pensa che gli effetti fissi rappresentino i parametri che rivedrai (ad es. Un farmaco o l'età di una persona). Si pensa che gli effetti casuali rappresentino un'istanza di variabilità attorno a un parametro che non si vedrà più (ad es. Una persona specifica).

Ci sono esempi che li usano insieme quando ci sono dati raggruppati http://dx.doi.org/10.1080/00949655.2012.741599 e http://www2.ims.nus.edu.sg/Programs/014swclass/files/denis.pdf .

Non sono a conoscenza di alcun pacchetto R in grado di eseguire questa analisi.

— Bill Denney
fonte

2

Inoltre, gli autori di questo lavoro sono felici di condividere con te il codice R della loro implementazione. Basta inviarli via email. È quello che ho fatto.

— Brash Equilibrium

Ho contattato Larocque, che ha contattato Hajjam, che mi ha inviato un'e-mail entro un paio di giorni.

— Brash Equilibrium,

2

Un avvertimento corretto, tuttavia, il codice R disponibile implementa solo la foresta casuale per dati continui. Dovrai estenderlo per gestire i dati categorici.

— Brash Equilibrium,

10

Sì è possibile È necessario controllare " Alberi RE-EM: un approccio di data mining per i dati longitudinali e raggruppati " e il pacchetto R associato REEMtree .

È da un po 'che non guardo il giornale. Ricordo che gli autori non avevano ancora provato a formare gruppi di questi alberi, ma che nulla suggeriva che non avrebbe funzionato.

— Ben Ogorek
fonte

1

REEMtree non è effetti casuali applicati a foreste casuali. Viene applicato al partizionamento ricorsivo, che è solo una parte di ciò che va in un modello di foresta casuale. Quindi non credo che questa risposta meriti un punteggio più alto di quello di Bill Denney. Sfortunatamente, il mio voto è bloccato.

— Brash Equilibrium

1

Dai, una volta che hai l'albero, quanto è difficile costruire la foresta? E di niente.

— Ben Ogorek,

1

Bene, visto come la foresta casuale aggiunge al campionamento bootstrap, sintonizza il numero di caratteristiche scelte casualmente da provare, l'aggregazione dei risultati dell'albero, ecc., E abbiamo bisogno di un effetto casuale sulle previsioni casuali della foresta, non le previsioni dei singoli alberi in quel forest, aumentare REEMtree non è una buona soluzione quanto leggere l'articolo citato da Bill e richiedere il codice R ai suoi autori.

— Brash Equilibrium

8

Le foreste casuali a effetti misti (MERF) sono una cosa. Come afferma la risposta sopra, ci sono alcune grandi ricerche su di loro dal gruppo del Dr. Larocque all'HEC di Montreal. L'articolo è qui: http://www.tandfonline.com/doi/abs/10.1080/00949655.2012.741599 .

Essenzialmente è un modo teoricamente valido per combinare la modellazione non lineare di foreste casuali con effetti casuali lineari.

Abbiamo appena rilasciato un pacchetto open source in Python che implementa MERF usando l'algoritmo sopra riportato nel documento.

Abbiamo scritto un post dettagliato sul blog sul pacchetto e su come utilizzarlo per set di dati in cluster.

— Sourav Dey
fonte

1

qualsiasi pensiero sull'implementazione di questo in R o sull'aggiunta della funzionalità del diagramma di dipendenza parziale

— OliverFishCode