Esempio di diverse standardizzazioni in Python.
Per riferimento guarda questo articolo di Wikipedia:
https://en.wikipedia.org/wiki/Unbiased_estimation_of_standard_deviation
Dati di esempio
import pandas as pd
df = pd.DataFrame({
'A':[1,2,3],
'B':[100,300,500],
'C':list('abc')
})
print(df)
A B C
0 1 100 a
1 2 300 b
2 3 500 c
Normalizzazione usando i panda (fornisce stime imparziali)
Quando si normalizza semplicemente sottraggiamo la media e dividiamo per deviazione standard.
df.iloc[:,0:-1] = df.iloc[:,0:-1].apply(lambda x: (x-x.mean())/ x.std(), axis=0)
print(df)
A B C
0 -1.0 -1.0 a
1 0.0 0.0 b
2 1.0 1.0 c
Normalizzazione usando sklearn (Fornisce stime distorte, diverse dai panda)
Se fai la stessa cosa con sklearn
te otterrai un DIVERSO output!
import pandas as pd
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
df = pd.DataFrame({
'A':[1,2,3],
'B':[100,300,500],
'C':list('abc')
})
df.iloc[:,0:-1] = scaler.fit_transform(df.iloc[:,0:-1].to_numpy())
print(df)
A B C
0 -1.224745 -1.224745 a
1 0.000000 0.000000 b
2 1.224745 1.224745 c
Le stime distorte di sklearn rendono l'apprendimento automatico meno potente?
NO.
La documentazione ufficiale di sklearn.preprocessing.scale afferma che l'utilizzo dello stimatore distorto è SENZA ALCUNA influenza sulle prestazioni degli algoritmi di apprendimento automatico e possiamo tranquillamente utilizzarli.
From official documentation:
We use a biased estimator for the standard deviation,
equivalent to numpy.std(x, ddof=0).
Note that the choice of ddof is unlikely to affect model performance.
Che dire di MinMax Scaling?
Non esiste alcun calcolo della deviazione standard nel ridimensionamento MinMax. Quindi il risultato è lo stesso in entrambi i panda e scikit-learn.
import pandas as pd
df = pd.DataFrame({
'A':[1,2,3],
'B':[100,300,500],
})
(df - df.min()) / (df.max() - df.min())
A B
0 0.0 0.0
1 0.5 0.5
2 1.0 1.0
# Using sklearn
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
arr_scaled = scaler.fit_transform(df)
print(arr_scaled)
[[0. 0. ]
[0.5 0.5]
[1. 1. ]]
df_scaled = pd.DataFrame(arr_scaled, columns=df.columns,index=df.index)
print(df_scaled)
A B
0 0.0 0.0
1 0.5 0.5
2 1.0 1.0