Qual è il metodo "parziale" nei minimi quadrati parziali?

Nella regressione parziale dei minimi quadrati (PLSR) o della modellazione di equazioni strutturali dei minimi quadrati parziali (PLS-SEM), a cosa si riferisce il termine "parziale"?

Vorrei rispondere a questa domanda, in gran parte basata sulla prospettiva storica , che è piuttosto interessante. Herman Wold, che ha inventato l' approccio dei minimi quadrati parziali (PLS) , non ha iniziato subito a usare il termine PLS (o addirittura a menzionare il termine parziale ). Durante il periodo iniziale (1966-1969), si riferì a questo approccio come NILES - abbreviazione del termine e del titolo del suo documento iniziale su questo argomento Stima non lineare di Iterative Least Squares Procedures , pubblicata nel 1966.

Come possiamo vedere, le procedure che in seguito saranno chiamate parziali, sono state definite iterative , concentrandosi sulla natura iterativa della procedura di stima dei pesi e delle variabili latenti (LV). Il termine "minimi quadrati" deriva dall'uso della regressione dei minimi quadrati ordinari per stimare altri parametri sconosciuti di un modello (Wold, 1980). Sembra che il termine "parziale" abbia le sue radici nelle procedure NILES, che ha implementato "l'idea di dividere i parametri di un modello in sottoinsiemi in modo che possano essere stimati in parti" (Sanchez, 2013, p. 216; sottolineatura mia) .

Il primo uso del termine PLS è avvenuto nelle procedure di stima dei minimi quadrati iterativi non lineari non lineari (NIPALS) , che la pubblicazione segna il prossimo periodo della storia del PLS - il periodo di modellazione NIPALS . Gli anni '70 e '80 diventano il periodo di modellizzazione soft , quando, influenzato dall'approccio LISREL di SEM di Karl Joreskog al SEM, Wold trasforma l'approccio NIPALS in modellistica soft, che essenzialmente ha costituito il nucleo del moderno approccio PLS (il termine PLS diventa mainstream alla fine degli anni '70 ). Negli anni '90, il prossimo periodo nella storia del PLS, che Sanchez (2013) chiama periodo "gap", è caratterizzato in gran parte dalla diminuzione del suo utilizzo. Fortunatamente, a partire dagli anni 2000 ( periodo di consolidamento), PLS ha goduto del suo ritorno come approccio molto popolare all'analisi SEM, in particolare nelle scienze sociali.

AGGIORNAMENTO (in risposta al commento di amoeba):

• Forse, la frase di Sanchez non è l'ideale nella frase che ho citato. Penso che "stimato in parti" si applichi a blocchi latenti di variabili. Wold (1980) descrive il concetto in dettaglio.
• Hai ragione sul fatto che NIPALS è stato originariamente sviluppato per PCA. La confusione deriva dal fatto che esistono approcci PLS sia lineari che non lineari. Penso che Rosipal (2011) spieghi molto bene le differenze (almeno, questa è la migliore spiegazione che ho visto finora).

AGGIORNAMENTO 2 (ulteriori chiarimenti):

In risposta alle preoccupazioni, espresse nella risposta dell'ameba, vorrei chiarire alcune cose. Mi sembra che dobbiamo distinguere l'uso della parola "parziale" tra NIPALS e PLS. Ciò crea due domande separate su 1) il significato di "parziale" in NIPALS e 2) il significato di "parziale" in PLS (questa è la domanda originale di Phil2014). Anche se non sono sicuro del primo, posso offrire ulteriori chiarimenti sul secondo.

Secondo Wold, Sjöström e Eriksson (2001),

Il "parziale" in PLS indica che si tratta di una regressione parziale, poiché ...

In altre parole, "parziale" deriva dal fatto che la decomposizione dei dati mediante l'algoritmo NIPALS per PLS potrebbe non includere tutti i componenti , quindi "parziale". Sospetto che lo stesso motivo si applichi ai NIPALS in generale, se è possibile utilizzare l'algoritmo su dati "parziali". Ciò spiegherebbe "P" in NIPALS.

In termini di usare la parola "non lineare" nel significato NIPALS (non confondere con PLS non lineari , che rappresenta la variante non lineare del metodo PLS!), Penso che si riferisca non alla algoritmo stesso , ma per modelli non lineari , che possono essere analizzato, utilizzando NIPALS basati sulla regressione lineare.

AGGIORNAMENTO 3 (spiegazione di Herman Wold):

Mentre l'articolo di Herman Wold del 1969 sembra essere il primo articolo su NIPALS, sono riuscito a trovare un altro dei primi articoli su questo argomento. Questo è un articolo di Wold (1974), in cui il "padre" di PLS presenta la sua logica per l'uso della parola "parziale" nella definizione di NIPALS (p. 71):

3.1.4. Stima NIPALS: OLS iterativo. Se una o più variabili del modello sono latenti, le relazioni predittive coinvolgono non solo parametri sconosciuti, ma anche variabili sconosciute, con il risultato che il problema di stima diventa non lineare. Come indicato in 3.1 (iii), NIPALS risolve questo problema con una procedura iterativa, ad esempio con i passaggi s = 1, 2, ... Ogni passaggio s comporta un numero finito di regressioni OLS, uno per ogni relazione predittiva del modello. Ciascuna di tali regressioni fornisce stime proxy per un sottoinsieme di parametri sconosciuti e variabili latenti (da cui il nome dei minimi quadrati parziali ), e queste stime proxy vengono utilizzate nel passaggio successivo della procedura per calcolare nuove stime proxy.

Riferimenti

Rosipal, R. (2011). Minimi quadrati parziali non lineari: una panoramica. In Lodhi H. e Yamanishi Y. (Eds.), Chemoinformatica e Prospettive avanzate di machine learning: metodi computazionali complessi e tecniche collaborative , pp. 169-189. ACCM, IGI Global. Estratto da http://aiolos.um.savba.sk/~roman/Papers/npls_book11.pdf

Sanchez, G. (2013). Modellazione di percorsi PLS con R. Berkeley, CA: Trowchez Editions. Estratto da http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf

Wold, H. (1974). Flussi causali con variabili latenti: trame dei modi alla luce della modellazione NIPALS. Rassegna economica europea, 5 , 67-86. Editoria dell'Olanda del Nord.

Wold, H. (1980). Costruzione di modelli e valutazione quando la conoscenza teorica è scarsa: teoria e applicazioni dei minimi quadrati parziali. In J. Kmenta e JB Ramsey (Eds.), Valutazione dei modelli econometrici , pp. 47-74. New York: Academic Press. Estratto da http://www.nber.org/chapters/c11693

Wold, S., Sjöström, M., & Eriksson, L. (2001). Regressione PLS: uno strumento base di chemiometria. Chemiometria e sistemi di laboratorio intelligenti, 58 , 109-130. doi: 10.1016 / S0169-7439 (01) 00155-1 Estratto da http://www.libpls.net/publication/PLS_basic_2001.pdf

$X$$Y$

Tuttavia, storicamente, come spiega bene @Aleksandr (+1), PLS è stato introdotto da Wold che ha usato il suo algoritmo NIPALS per implementarlo; NIPALS sta per "minimi quadrati iterati non lineari", quindi ovviamente P in PLS è appena arrivato da NIPALS.

$\newcommand{\X}{\mathbf X}\X$$\newcommand{\v}{\mathbf v}\v$$\newcommand{\p}{\mathbf p}\p$$\v$$\p$

1. $\v = \X^\top \p (\p^\top \p)^{-1}$
2. $\|\v\|$$1$
3. $\p = \X \v (\v^\top \v)^{-1}$

$\v$$\p$$\X$

(Perché lo ha definito "non lineare", tuttavia non capisco ancora.)

Questo termine è notevolmente fuorviante, perché se questo è "parziale" allora anche ogni algoritmo di massimizzazione delle aspettative è "parziale" (in realtà, NIPALS può essere visto come una forma primitiva di EM, vedi Roweis 1998 ). Penso che PLS sia un buon candidato per il concorso Il termine più fuorviante nel machine learning. Purtroppo, è improbabile che cambi, nonostante gli sforzi di Wold Jr. (vedi il commento di @ Momo sopra).