StandardScaler prima e dopo la divisione dei dati

Quando stavo leggendo sull'uso StandardScaler, la maggior parte dei consigli dicevano che dovresti usare StandardScaler prima di suddividere i dati in treno / test, ma quando stavo controllando alcuni dei codici pubblicati online (usando sklearn) c'erano due usi principali.

1- Utilizzo StandardScalersu tutti i dati. Per esempio

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_fit = sc.fit(X)
X_std = X_fit.transform(X)

O

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X = sc.fit(X)
X = sc.transform(X)

O semplicemente

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_std = sc.fit_transform(X)

2- Utilizzo StandardScalersu dati suddivisi.

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test = sc.transform (X_test)

Vorrei standardizzare i miei dati, ma sono confuso quale sia il metodo migliore!

Nell'interesse di prevenire informazioni sulla distribuzione del set di test perdita nel modello, è necessario scegliere l'opzione n. 2 e adattare lo scaler solo ai dati di allenamento, quindi standardizzare entrambi i set di allenamento e test con tale scaler. Montando lo scaler sul set di dati completo prima della divisione (opzione n. 1), le informazioni sul set di test vengono utilizzate per trasformare il set di addestramento, che a sua volta viene passato a valle.

Ad esempio, conoscere la distribuzione dell'intero set di dati potrebbe influenzare il modo in cui si rilevano ed elaborano i valori anomali, nonché il modo in cui si parametrizza il modello. Sebbene i dati stessi non siano esposti, le informazioni sulla distribuzione dei dati lo sono. Di conseguenza, le prestazioni del set di test non sono una vera stima delle prestazioni su dati invisibili. Qualche ulteriore discussione che potresti trovare utile è su Convalida incrociata .

Che ne dici di quanto segue:

from sklearn.preprocessing import StandardScaler

sc = StandardScaler()

X_train = sc.fit_transform(X_train)

X_test = sc.fit_transform (X_test)

Perché se X_test = sc.transform(X_test), restituisce errore X_testnon ancora installato. O mi sono perso qualcosa qui?

Non dovresti fare fit_transform (X_test) sui dati del test.
L'adattamento si è già verificato sopra.

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test = sc.transform (X_test)