Come sviluppatore principale di Optunity aggiungerò i miei due centesimi.
Abbiamo fatto ampi parametri di riferimento confrontando Optunity con i solutori bayesiani più popolari (ad esempio, hyperopt, SMAC, bayesopt) su problemi del mondo reale, e i risultati indicano che l'OSP in realtà non è meno efficiente in molti casi pratici. Nel nostro benchmark, che consiste nell'ottimizzare i classificatori SVM su vari set di dati, Optunity è in realtà più efficiente di hyperopt e SMAC, ma leggermente meno efficiente di BayesOpt. Mi piacerebbe condividere i risultati qui, ma aspetterò fino a quando Optunity sarà finalmente pubblicato in JMLR (in corso di revisione da oltre un anno, quindi non trattenere il respiro ...).
Come indichi, una maggiore efficienza è un punto di vendita comunemente usato per l'ottimizzazione bayesiana, ma in pratica trattiene l'acqua solo se le ipotesi dei modelli surrogati sottostanti sono valide, il che è tutt'altro che banale. Nei nostri esperimenti, il semplicissimo solutore PSO di Optunity è spesso competitivo con complessi approcci bayesiani in termini di numero di valutazioni delle funzioni. I risolutori bayesiani funzionano molto bene se forniti con buoni priori, ma con un precedente non informativo non vi è praticamente alcun vantaggio strutturale rispetto ai metodi metauristici come il PSO in termini di efficienza.
Un grande punto di forza per PSO è il fatto che è imbarazzantemente parallelo. L'ottimizzazione bayesiana è spesso difficile da parallelizzare, a causa della sua natura intrinsecamente sequenziale (l'implementazione di hyperopt è l'unica vera eccezione). Date le opportunità di distribuzione, che sta diventando la norma, Optunity prende rapidamente il comando nel tempo dell'orologio da parete per ottenere buone soluzioni.
Un'altra differenza chiave tra Optunity e la maggior parte delle altre librerie dedicate di ottimizzazione dell'iperparametro è il pubblico target: Optunity ha l'interfaccia più semplice e si rivolge agli esperti di apprendimento non automatico, mentre la maggior parte delle altre biblioteche richiede una certa comprensione dell'ottimizzazione bayesiana per un uso efficace (ovvero rivolto a specialisti).
Il motivo per cui abbiamo creato la libreria è che, nonostante esistano metodi dedicati di ottimizzazione dell'iperparametro, nella pratica mancano di adozione. La maggior parte delle persone non si sta ancora sintonizzando, lo fa manualmente o tramite approcci ingenui come la griglia o la ricerca casuale. A nostro avviso, un motivo chiave per questo è il fatto che le librerie esistenti prima dello sviluppo di Optunity erano troppo difficili da usare in termini di installazione, documentazione, API e spesso limitate a un singolo ambiente.