La regressione lineare multipla in 3 dimensioni è un piano di adattamento ottimale o una linea di adattamento ottimale?

Il nostro prof non sta entrando nella matematica o nella rappresentazione geometrica della regressione lineare multipla e questo mi ha leggermente confuso.

Da un lato si chiama ancora regressione lineare multipla, anche in dimensioni superiori. D'altra parte, se abbiamo ad esempio e possiamo inserire tutti i valori che vorremmo per e , questo non ci darebbe un piano di possibili soluzioni e non una linea?X1X$\hat{Y} = b_0 + b_1 X_1 + b_2 X_2$$X_1$$X_2$

In generale, la nostra superficie di previsione non sarà un iperpiano dimensionale per variabili indipendenti?$k$$k$

Hai ragione, la superficie della soluzione sarà in genere un iperpiano. È solo che la parola hyperplane è un boccone, l'aereo è più corto e la linea è ancora più breve. Mentre continui in matematica, il caso monodimensionale viene discusso sempre più raramente, quindi il compromesso

Big words for high dimensional, Small words for small dimensional

inizia a guardare, bene, al contrario.

Ad esempio, quando vedo un'equazione come , dove è una matrice e sono vettori, la chiamo equazione lineare . In una parte precedente della mia vita, lo definirei un sistema di equazioni lineari , riservando un'equazione lineare per il caso monodimensionale. Ma poi sono arrivato al punto in cui il caso monodimensionale non si presentava molto spesso, mentre il caso multidimensionale era ovunque.A x , $Ax = b$$A$$x, b$

Questo succede anche con la notazione. Mai visto qualcuno scrivere

Quel simbolo a sinistra è il nome di una funzione, quindi per essere formale e pedante, dovresti scrivere

Peggiora in multidimensionalità, quando la derivata prende due argomenti, uno è dove prendi la derivata, e l'altro è in quale direzione valuta la derivata, che sembra

ma le persone diventano pigre molto rapidamente e iniziano a abbandonare l'uno o l'altro argomento, lasciandoli compresi dal contesto.

I matematici professionisti, le lingue saldamente nella guancia, chiamano questo abuso della notazione . Ci sono argomenti in cui sarebbe sostanzialmente impossibile esprimersi senza abusare della notazione, la mia amata geometria differenziale è un esempio emblematico. Il grande Nicolas Bourbaki ha espresso il punto molto eloquentemente

Per quanto possibile, nel testo abbiamo attirato l'attenzione sugli abusi del linguaggio, senza i quali qualsiasi testo matematico corre il rischio di pedanteria, per non dire illeggibilità.

- Bourbaki (1988)

Puoi anche commentare un abuso di notazione di cui sono caduto sopra senza che me ne accorgessi da solo!

Tecnicamente da quando hai scritto df / dx come derivata parziale, anche se le altre variabili implicite sarebbero mantenute costanti, la derivata parziale tecnicamente non sarebbe comunque una funzione di tutte le variabili della funzione originale, come in df / dx ( x, y, ...)?

Hai perfettamente ragione, e questo dà una buona (non intenzionale) illustrazione di ciò che sto arrivando qui.

Incontro la derivata in un vero senso a una variabile così raramente nel mio lavoro e nei miei studi quotidiani, che essenzialmente ho dimenticato che è la notazione corretta qui. Volevo che quanto sopra riguardasse una funzione a una variabile, ma inconsciamente segnalato diversamente dal mio uso di .$\frac{d f}{d x}$$\partial$

Immagino che la pensi come quando diciamo "somma infinita" invece di "il limite di una somma mentre il numero di termini si avvicina all'infinito". Il modo in cui ci penso è che va bene finché la differenza concettuale è chiara. In questo caso (regressione multipla), non ero davvero sicuro di cosa stessimo parlando in primo luogo.

Sì, è un modo coerente di pensarci. L'unica vera differenza è che lì abbiamo una situazione così comune che abbiamo inventato ulteriori (*) notazione e terminologia ( e "somma infinita") per esprimerla. In altri casi generalizziamo un concetto e poi quel concetto generalizzato diventa così onnipresente che riutilizziamo la vecchia notazione o terminologia per il concetto generalizzato.$\Sigma$

Come persone pigre vogliamo economizzare le parole nei casi comuni.

(*) Storicamente, non è così che si sono sviluppate somme infinite. Il limite della definizione di somme parziali è stato sviluppato a posteriori quando i matematici hanno iniziato a incontrare situazioni in cui era necessario ragionare in modo molto preciso.

"Lineare" non significa esattamente cosa pensi che faccia in questo contesto - è un po 'più generale

In primo luogo, non è in realtà un riferimento alla linearità nelle x ma ai parametri * ("lineare nei parametri").

In secondo luogo, una funzione lineare nel senso dell'algebra lineare è essenzialmente una mappa lineare; è una funzione lineare nello spazio .$E(Y|X) = X\beta$$\beta$

Quindi un piano (o più generalmente un iperpiano) della migliore misura è ancora "regressione lineare".

* sebbene sarà lineare nelle x fornite se si considera la colonna costante di come parte del coordinatore-vectore (o in alternativa si pensa a esso in coordinate omogenee con la normalizzazione della coordinata aggiuntiva). Oppure potresti semplicemente dire che è lineare in eX β X $1$$X\beta$$X$$\beta$