Le interazioni sono utili solo nel contesto della regressione?

Ho sempre letto il termine interazione nel contesto della regressione. Dovremmo anche considerare le interazioni con modelli diversi, ad esempio knn o svm?

Se ci sono , 100 o anche più funzioni e diciamo 1000 osservazioni, qual è il solito modo per trovare interazioni utili? Prova tutte le combinazioni? O utilizzare solo combinazioni che hanno senso?$50$$100$$1000$

$X_i * X_j$

Il modo più semplice per vederlo è attraverso il problema XOR, un modello di regressione senza interazioni non può risolverlo, poiché richiede una combinazione non lineare.

D'altra parte, KNN e SVM (e molti altri modelli) sono approssimatori di funzioni universali. Ciò significa che non possono solo combinare i loro input in modo lineare, ma anche in qualsiasi modo non lineare. A cui sono dati abbastanza layer o un kernel adatto, possono sostanzialmente "creare" le proprie interazioni, esattamente come ne hanno bisogno. Se sai o ti aspetti che interazioni specifiche siano importanti, puoi comunque usarle come input per guidare i modelli nella giusta direzione.

Allo stesso modo, i modelli basati su alberi possono essere interpretati come costituiti solo da interazioni. Fondamentalmente, una divisione in un modello basato su albero crea un'interazione specifica con tutte le variabili precedenti.

$N$$2^N$

No.

$(x_1,x_2)$$(x_1^2,x_2^2,x_1x_2)$

$10^{10}$

Pertanto, non solo l'interazione è stata ampiamente utilizzata in altri modelli. In aggiunta all'interazione, altri modelli cercano di ottenere di più con l'ingegnerizzazione delle funzionalità. Invece della moltiplicazione di due colonne, vengono derivate funzionalità più complicate.

Interazioni che migliorano l'R-quadrato rettificato, il BIC per la regressione della probabilità (in alternativa AICc e altri), VIF e la statistica F di ANOVA, quest'ultima senza parametri individuali che vengono giudicati non contributivi utilizzando le loro probabilità parziali.

Anche molto importante, ma non è stato chiesto, è che la riparameterizzazione può migliorare notevolmente sia l'effetto delle singole variabili sia le loro interazioni. Tuttavia, le misurazioni della qualità BIC, AIC e altre probabilità non sono valide per confrontare diverse riparazioni che lasciano rettificato R-quadrato, VIF e statistica F di ANOVA per tali scopi.