Quali algoritmi richiedono il ridimensionamento delle funzionalità, oltre a SVM?

Sto lavorando con molti algoritmi: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear e rbf), KNN, LDA e XGBoost. Tutti sono stati piuttosto veloci, tranne SVM. Questo è quando ho saputo che ha bisogno del ridimensionamento delle funzionalità per funzionare più velocemente. Poi ho iniziato a chiedermi se avrei dovuto fare lo stesso per gli altri algoritmi.

In generale, gli algoritmi che sfruttano le distanze o le somiglianze (ad esempio in forma di prodotto scalare) tra campioni di dati, come k-NN e SVM, sono sensibili alle trasformazioni delle caratteristiche.

Classificatori basati su modelli grafici, come Fisher LDA o Naive Bayes, nonché alberi decisionali e metodi di ensemble basati su alberi (RF, XGB) sono invarianti rispetto al ridimensionamento delle funzionalità, ma potrebbe essere comunque una buona idea ridimensionare / mettere in piedi i dati .

Ecco un elenco che ho trovato su http://www.dataschool.io/comparing-supervised-learning-algorithms/ che indica quale classificatore necessita del ridimensionamento delle funzionalità :

Tavolo intero:

Nel clustering k-mean devi anche normalizzare il tuo input .

Oltre a considerare se il classificatore sfrutta le distanze o le somiglianze come indicato da Yell Bond, la Discesa gradiente stocastica è anche sensibile al ridimensionamento delle caratteristiche (poiché la velocità di apprendimento nell'equazione di aggiornamento della Discesa stocastica gradiente è la stessa per ogni parametro {1}):

---

Riferimenti:

• {1} Elkan, Charles. "Modelli log-lineari e campi casuali condizionali." Note tutorial a CIKM 8 (2008). https://scholar.google.com/scholar?cluster=5802800304608191219&hl=it&as_sdt=0,22 ; https://pdfs.semanticscholar.org/b971/0868004ec688c4ca87aa1fec7ffb7a2d01d8.pdf

$$Y_i = \beta_0 + \beta_1 x_i + \beta_2 z_i + \epsilon_i$$ $i=1, \dots, n$ $$x_i^* = (x_i - \bar{x})/\text{sd}(x) \\ z_i^* = (z_i - \bar{z})/\text{sd}(z)$$ $$Y_i = \beta_0^* + \beta_1^* x_i^* + \beta_2^* z_i^* + \epsilon_i$$ $\beta_{1,2}^*$$\hat{\beta}_{1,2}$ $$\beta_0=\beta_0^* - \frac{\beta_1^* \bar{x}}{\text{sd(x)}} -\frac{\beta_2^*\bar{z}}{\text{sd(z)}},\quad \beta_1 =\frac{\beta_1^*}{\text{sd(x)}},\quad \beta_2=\frac{\beta_2^*}{\text{sd(z)}}$$ So standardization is not a necessary part of modelling. (It might still be done for other reasons, which we do not cover here). This answer depends also upon us using ordinary least squares. For some other fitting methods, such as ridge or lasso, standardization is important, because we loose this invariance we have with least squares. This is easy to see: both lasso and ridge do regularization based on the size of the betas, so any transformation which change the relative sizes of the betas will change the result!

And this discussion for the case of linear regression tells you what you should look after in other cases: Is there invariance, or is it not? Generally, methods which depends on distance measures among the predictors will not show invariance, so standardization is important. Another example will be clustering.