Un modo per addestrare una regressione logistica consiste nell'utilizzare la discesa graduale stocastica, a cui scikit-learn offre un'interfaccia.
Quello che vorrei fare è prendere un SGDClassifier di scikit-learn e farlo segnare come una regressione logistica qui . Tuttavia, devo mancare alcuni miglioramenti dell'apprendimento automatico, poiché i miei punteggi non sono equivalenti.
Questo è il mio codice attuale. Cosa mi manca su SGDClassifier che avrebbe prodotto gli stessi risultati di una regressione logistica?
from sklearn import datasets
from sklearn.linear_model import LogisticRegression
from sklearn.linear_model import SGDClassifier
import numpy as np
import pandas as pd
from sklearn.cross_validation import KFold
from sklearn.metrics import accuracy_score
# Note that the iris dataset is available in sklearn by default.
# This data is also conveniently preprocessed.
iris = datasets.load_iris()
X = iris["data"]
Y = iris["target"]
numFolds = 10
kf = KFold(len(X), numFolds, shuffle=True)
# These are "Class objects". For each Class, find the AUC through
# 10 fold cross validation.
Models = [LogisticRegression, SGDClassifier]
params = [{}, {"loss": "log", "penalty": "l2"}]
for param, Model in zip(params, Models):
total = 0
for train_indices, test_indices in kf:
train_X = X[train_indices, :]; train_Y = Y[train_indices]
test_X = X[test_indices, :]; test_Y = Y[test_indices]
reg = Model(**param)
reg.fit(train_X, train_Y)
predictions = reg.predict(test_X)
total += accuracy_score(test_Y, predictions)
accuracy = total / numFolds
print "Accuracy score of {0}: {1}".format(Model.__name__, accuracy)
La mia uscita:
Accuracy score of LogisticRegression: 0.946666666667
Accuracy score of SGDClassifier: 0.76
3
Una domanda e un'osservazione: quanto è stabile la tua precisione di SGD su corse ripetute? i due algoritmi non sono equivalenti e non produrranno necessariamente la stessa accuratezza dati gli stessi dati. Praticamente potresti provare a cambiare le epoche e / o il tasso di apprendimento per SGD. Oltre a ciò, potresti provare a normalizzare le funzionalità di SGD.
—
image_doctor
Quindi, non ho testato l'SGD su corse ripetute perché quanto sopra utilizza una validazione incrociata di 10 volte; per me è bastato.
—
hlin117,
Puoi spiegarmi come mai questi algoritmi non sono equivalenti? Se guardo SGDClassifier qui, menziona "La perdita 'log' dà la regressione logistica, un classificatore probabilistico". Credo che ci sia un vuoto nella mia conoscenza dell'apprendimento automatico.
—
hlin117,
Senza uno studio dettagliato delle implementazioni non credo di poter essere specifico sul perché non siano equivalenti, ma un buon indizio del fatto che non sono equivalenti è che i risultati per ciascun metodo sono significativamente diversi. La mia ipotesi sarebbe che abbia a che fare con le proprietà di convergenza dei metodi di stima utilizzati in ciascuno.
—
image_doctor il
Questi algoritmi sono diversi perché la regressione logistica utilizza la discesa gradiente, mentre la discesa gradiente stocastica utilizza la discesa gradiente stocastica. La convergenza della prima sarà più efficiente e produrrà risultati migliori. Tuttavia, con l'aumentare delle dimensioni del set di dati, SGDC dovrebbe avvicinarsi all'accuratezza della regressione logistica. I parametri per GD significano cose diverse rispetto ai parametri per SGD, quindi dovresti provare a regolarli leggermente. Suggerirei di giocare un po 'con (diminuendo) i tassi di apprendimento della SGD per cercare di ottenere una migliore convergenza in quanto potrebbe rallentare un po'.
—
AN6U5,