Qual è il metodo "parziale" nei minimi quadrati parziali?


16

Nella regressione parziale dei minimi quadrati (PLSR) o della modellazione di equazioni strutturali dei minimi quadrati parziali (PLS-SEM), a cosa si riferisce il termine "parziale"?


4
Si noti che Wold Jr. ritiene che il nome "parziale meno quadrato" sia fuorviante e avrebbe dovuto essere chiamato "proiezione su spazi latenti".
Momo,

@Momo: Sì, ne ho letto. Tuttavia, anche se il PLS è in qualche modo fuorviante, la "proiezione su spazi latenti" è ancora meno chiara, per non parlare della mancanza di praticità nell'uso del termine in forma scritta.
Aleksandr Blekh,

Risposte:


17

Vorrei rispondere a questa domanda, in gran parte basata sulla prospettiva storica , che è piuttosto interessante. Herman Wold, che ha inventato l' approccio dei minimi quadrati parziali (PLS) , non ha iniziato subito a usare il termine PLS (o addirittura a menzionare il termine parziale ). Durante il periodo iniziale (1966-1969), si riferì a questo approccio come NILES - abbreviazione del termine e del titolo del suo documento iniziale su questo argomento Stima non lineare di Iterative Least Squares Procedures , pubblicata nel 1966.

Come possiamo vedere, le procedure che in seguito saranno chiamate parziali, sono state definite iterative , concentrandosi sulla natura iterativa della procedura di stima dei pesi e delle variabili latenti (LV). Il termine "minimi quadrati" deriva dall'uso della regressione dei minimi quadrati ordinari per stimare altri parametri sconosciuti di un modello (Wold, 1980). Sembra che il termine "parziale" abbia le sue radici nelle procedure NILES, che ha implementato "l'idea di dividere i parametri di un modello in sottoinsiemi in modo che possano essere stimati in parti" (Sanchez, 2013, p. 216; sottolineatura mia) .

Il primo uso del termine PLS è avvenuto nelle procedure di stima dei minimi quadrati iterativi non lineari non lineari (NIPALS) , che la pubblicazione segna il prossimo periodo della storia del PLS - il periodo di modellazione NIPALS . Gli anni '70 e '80 diventano il periodo di modellizzazione soft , quando, influenzato dall'approccio LISREL di SEM di Karl Joreskog al SEM, Wold trasforma l'approccio NIPALS in modellistica soft, che essenzialmente ha costituito il nucleo del moderno approccio PLS (il termine PLS diventa mainstream alla fine degli anni '70 ). Negli anni '90, il prossimo periodo nella storia del PLS, che Sanchez (2013) chiama periodo "gap", è caratterizzato in gran parte dalla diminuzione del suo utilizzo. Fortunatamente, a partire dagli anni 2000 ( periodo di consolidamento), PLS ha goduto del suo ritorno come approccio molto popolare all'analisi SEM, in particolare nelle scienze sociali.

AGGIORNAMENTO (in risposta al commento di amoeba):

  • Forse, la frase di Sanchez non è l'ideale nella frase che ho citato. Penso che "stimato in parti" si applichi a blocchi latenti di variabili. Wold (1980) descrive il concetto in dettaglio.
  • Hai ragione sul fatto che NIPALS è stato originariamente sviluppato per PCA. La confusione deriva dal fatto che esistono approcci PLS sia lineari che non lineari. Penso che Rosipal (2011) spieghi molto bene le differenze (almeno, questa è la migliore spiegazione che ho visto finora).

AGGIORNAMENTO 2 (ulteriori chiarimenti):

In risposta alle preoccupazioni, espresse nella risposta dell'ameba, vorrei chiarire alcune cose. Mi sembra che dobbiamo distinguere l'uso della parola "parziale" tra NIPALS e PLS. Ciò crea due domande separate su 1) il significato di "parziale" in NIPALS e 2) il significato di "parziale" in PLS (questa è la domanda originale di Phil2014). Anche se non sono sicuro del primo, posso offrire ulteriori chiarimenti sul secondo.

Secondo Wold, Sjöström e Eriksson (2001),

Il "parziale" in PLS indica che si tratta di una regressione parziale, poiché ...

In altre parole, "parziale" deriva dal fatto che la decomposizione dei dati mediante l'algoritmo NIPALS per PLS potrebbe non includere tutti i componenti , quindi "parziale". Sospetto che lo stesso motivo si applichi ai NIPALS in generale, se è possibile utilizzare l'algoritmo su dati "parziali". Ciò spiegherebbe "P" in NIPALS.

In termini di usare la parola "non lineare" nel significato NIPALS (non confondere con PLS non lineari , che rappresenta la variante non lineare del metodo PLS!), Penso che si riferisca non alla algoritmo stesso , ma per modelli non lineari , che possono essere analizzato, utilizzando NIPALS basati sulla regressione lineare.

AGGIORNAMENTO 3 (spiegazione di Herman Wold):

Mentre l'articolo di Herman Wold del 1969 sembra essere il primo articolo su NIPALS, sono riuscito a trovare un altro dei primi articoli su questo argomento. Questo è un articolo di Wold (1974), in cui il "padre" di PLS presenta la sua logica per l'uso della parola "parziale" nella definizione di NIPALS (p. 71):

3.1.4. Stima NIPALS: OLS iterativo. Se una o più variabili del modello sono latenti, le relazioni predittive coinvolgono non solo parametri sconosciuti, ma anche variabili sconosciute, con il risultato che il problema di stima diventa non lineare. Come indicato in 3.1 (iii), NIPALS risolve questo problema con una procedura iterativa, ad esempio con i passaggi s = 1, 2, ... Ogni passaggio s comporta un numero finito di regressioni OLS, uno per ogni relazione predittiva del modello. Ciascuna di tali regressioni fornisce stime proxy per un sottoinsieme di parametri sconosciuti e variabili latenti (da cui il nome dei minimi quadrati parziali ), e queste stime proxy vengono utilizzate nel passaggio successivo della procedura per calcolare nuove stime proxy.

Riferimenti

Rosipal, R. (2011). Minimi quadrati parziali non lineari: una panoramica. In Lodhi H. e Yamanishi Y. (Eds.), Chemoinformatica e Prospettive avanzate di machine learning: metodi computazionali complessi e tecniche collaborative , pp. 169-189. ACCM, IGI Global. Estratto da http://aiolos.um.savba.sk/~roman/Papers/npls_book11.pdf

Sanchez, G. (2013). Modellazione di percorsi PLS con R. Berkeley, CA: Trowchez Editions. Estratto da http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf

Wold, H. (1974). Flussi causali con variabili latenti: trame dei modi alla luce della modellazione NIPALS. Rassegna economica europea, 5 , 67-86. Editoria dell'Olanda del Nord.

Wold, H. (1980). Costruzione di modelli e valutazione quando la conoscenza teorica è scarsa: teoria e applicazioni dei minimi quadrati parziali. In J. Kmenta e JB Ramsey (Eds.), Valutazione dei modelli econometrici , pp. 47-74. New York: Academic Press. Estratto da http://www.nber.org/chapters/c11693

Wold, S., Sjöström, M., & Eriksson, L. (2001). Regressione PLS: uno strumento base di chemiometria. Chemiometria e sistemi di laboratorio intelligenti, 58 , 109-130. doi: 10.1016 / S0169-7439 (01) 00155-1 Estratto da http://www.libpls.net/publication/PLS_basic_2001.pdf


@amoeba: credo che questo documento spieghi il PLS in contrasto con altri approcci in un modo più tecnico, di cui hai discusso di recente. Tuttavia, si noti che la spiegazione sopra è focalizzata sulla regressione del PLS, mentre il PLS include più classi di analisi del sistema (vedere la diapositiva 10 nella seguente presentazione). Anche le note tecniche sulle diapositive 25-29 sono utili a IMHO. La presentazione: plsmodeling.com/pls/pls-introduction .
Aleksandr Blekh,

@ Aleksandr Blekh: questi sono riferimenti molto carini.
Alph,

Wow, le persone danno nomi ai periodi della storia di PLS! Degno di nota.
ameba dice di reintegrare Monica il

Scherzi a parte, ho esaminato il libro di Sanchez, ma ancora non capisco cosa abbia a che fare NIPALS con "l'idea di dividere i parametri di un modello in sottoinsiemi in modo che possano essere stimati in parti" . NIPALS è stato originariamente suggerito come metodo per calcolare i componenti principali, giusto? È abbastanza semplice. Non vedo alcuna "suddivisione" dei parametri in "sottoinsiemi" lì, quindi non ho idea di cosa stia parlando Sanchez. A proposito, né capisco "non lineare" in NIPALS. Certamente la PCA è una tecnica lineare!
ameba dice di reintegrare Monica il

@amoeba: vedi il mio aggiornamento in risposta al tuo commento. Spero che sia d'aiuto.
Aleksandr Blekh,

7

XY

Tuttavia, storicamente, come spiega bene @Aleksandr (+1), PLS è stato introdotto da Wold che ha usato il suo algoritmo NIPALS per implementarlo; NIPALS sta per "minimi quadrati iterati non lineari", quindi ovviamente P in PLS è appena arrivato da NIPALS.

Xvpvp

  1. v=Xp(pp)-1
  2. v1
  3. p=Xv(vv)-1

vpX

(Perché lo ha definito "non lineare", tuttavia non capisco ancora.)

Questo termine è notevolmente fuorviante, perché se questo è "parziale" allora anche ogni algoritmo di massimizzazione delle aspettative è "parziale" (in realtà, NIPALS può essere visto come una forma primitiva di EM, vedi Roweis 1998 ). Penso che PLS sia un buon candidato per il concorso Il termine più fuorviante nel machine learning. Purtroppo, è improbabile che cambi, nonostante gli sforzi di Wold Jr. (vedi il commento di @ Momo sopra).


Potresti essere interessato all'aggiornamento 2 della mia risposta con ulteriori chiarimenti.
Aleksandr Blekh,

Grazie per continuare questa discussione (per evitare equivoci, dovrei dire che non ho provato a criticarti in alcun modo!). Ora, al tuo Update2. Perché pensi che dovremmo distinguere il significato di "parziale" in PLS e NIPALS? Sembra strano; PLS è nato dal lavoro su NIPALS e questo suggerisce che il suo nome è semplicemente un "niPaLS" abbreviato. Ciò sembra essere confermato da Wold et al. Documento del 2001 che hai trovato: "Ciò includeva un modo semplice ma efficace per stimare i parametri di questi modelli chiamati NIPALS [...]. Ciò ha portato, a sua volta, all'acronimo PLS per questi modelli" .
ameba dice di reintegrare Monica il

1
vpX

1
Grande! Penso che la domanda abbia finalmente ricevuto una risposta soddisfacente. E ho finalmente valutato la tua risposta, +1 :-) Ho modificato la mia risposta per incorporare questa nuova comprensione. Per quanto riguarda la tua risposta: quando hai spiegato la parola "parziale" nell'aggiornamento 1 e nell'aggiornamento 2, intendevi davvero la stessa cosa che ora abbiamo concordato? A me sembra che la tua risposta contenga attualmente diverse interpretazioni ...
Ameba dice Reinstate Monica il

1
Non lo so! Forse è corretto. Puoi approfondire quali "modelli non lineari" possono essere analizzati utilizzando NIPALS e come? D'altra parte, è probabilmente un argomento completamente diverso. Immagino che il punto sia che Wold ha sviluppato NIPALS per non calcolare la PCA per se stessa, ma aveva in mente alcune applicazioni particolari, dove doveva affrontare problemi non lineari e linearizzarli in qualche modo, riducendo alla PCA? Oggi le persone presentano NIPALS come un semplice algoritmo per calcolare i principali vettori singolari, ma forse Wold del 1969 non sarebbe affatto d'accordo con questa visione!
ameba dice di reintegrare Monica il
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.