Quali sono le notazioni classiche in statistica, algebra lineare e machine learning? E quali sono le connessioni tra queste notazioni?

Quando leggiamo un libro, la comprensione delle notazioni gioca un ruolo molto importante nella comprensione dei contenuti. Sfortunatamente, comunità diverse hanno convenzioni di notazione diverse per la formulazione sul modello e il problema di ottimizzazione. Qualcuno potrebbe riassumere alcune notazioni di formulazione qui e fornire possibili ragioni?

Faccio un esempio qui: nella letteratura sull'algebra lineare, il libro classico è l' introduzione di Strang all'algebra lineare . La notazione più usata nel libro è

Dove è una matrice di coefficienti , è le variabili da risolvere e è un vettore sul lato destro dell'equazione . Il motivo per cui il libro sceglie questa notazione è l'obiettivo principale dell'algebra lineare è risolvere un sistema lineare e capire cos'è il vettore . Data tale formulazione, il problema dell'ottimizzazione OLS è$A$$x$$b$$x$

Nelle statistiche o nel machine learning (dal libro Elements of Statistical Learning ) le persone usano notazioni diverse per rappresentare la stessa cosa:

Dove $X$ è la matrice di dati , $\beta$ sono i coefficienti o i pesi da apprendere , $y$ è la risposta. Il motivo per cui le persone usano questo è perché le persone nelle statistiche o nella community di machine learning sono guidate dai dati , quindi i dati e la risposta sono la cosa più interessante per loro, dove usano $X$ e $y$ per rappresentare.

Ora possiamo vedere tutta la possibile confusione che può esserci: $A$ nella prima equazione è uguale a $X$ nella seconda equazione. E nella seconda equazione $X$ non è qualcosa da risolvere. Anche per i termini: $A$ è la matrice dei coefficienti nell'algebra lineare, ma sono i dati nelle statistiche. $\beta$ è anche chiamato "coefficienti".

Inoltre, ho detto che $X \beta=y$ non è esattamente ciò che le persone usano ampiamente nell'apprendimento automatico, le persone usano una versione per metà vettorializzata che riassume tutti i punti dati. Ad esempio

Penso che la ragione di ciò sia che è positivo quando si parla della discesa gradiente stocastica e di altre diverse funzioni di perdita. Inoltre, la notazione della matrice concisa scompare per altri problemi oltre alla regressione lineare.

Notazione matriciale per la regressione logistica

Qualcuno potrebbe dare più sintesi sulle notazioni attraverso la letteratura diversa? Spero che le risposte intelligenti a questa domanda possano essere usate come un buon riferimento per le persone che leggono libri attraverso diverse pubblicazioni.

per favore non essere limitato dal mio esempio e . Ce ne sono molti altri. Ad esempio$A x=b$$X \beta=y$

Perché esistono due diverse formule / notazioni di perdita logistica?

Forse una domanda correlata è: "Quali sono le parole usate in diverse lingue e quali sono le connessioni tra queste parole?"

La notazione è in qualche modo simile al linguaggio:

• Alcune parole hanno significati specifici per regione; alcune parole sono ampiamente capite.
• Come nazioni potenti hanno diffuso la loro lingua, campi di successo e ricercatori influenti hanno diffuso la loro notazione.
• La lingua si evolve nel tempo: la lingua ha un mix di origini storiche e influenza moderna.

La tua domanda specifica ...

• Non sarei d'accordo con la tua tesi secondo cui i due seguono "notazione completamente diversa". Sia che usano le lettere maiuscole per indicare le matrici. Non sono così diversi.A x = $X\boldsymbol{\beta} = \boldsymbol{y}$$A\mathbf{x} = \mathbf{b}$
• L'apprendimento automatico è fortemente correlato alle statistiche, un campo ampio e maturo. Usare per rappresentare la matrice di dati è quasi certamente la convenzione più leggibile e più standard da seguire. Mentre è standard per la risoluzione di sistemi lineari, non è così che le persone che fanno statistiche scrivono le normali equazioni. Troverai il tuo pubblico più confuso se provi a farlo. Quando a Roma...A x = $X$$A\mathbf{x} = \mathbf{b}$
• In un certo senso, il cuore della tua domanda rivista è "Quali sono le origini storiche delle statistiche che usano la lettera per rappresentare i dati e la lettera per rappresentare la variabile sconosciuta per cui risolvere?" $x$$\beta$
  • Questa è una domanda per gli storici statistici! Per una breve ricerca, vedo l'influente statistico britannico e accademico di Cambridge Udny Yule usato per rappresentare i dati nella sua Introduzione alla teoria della statistica (1911). Ha scritto un'equazione di regressione come , con l'obiettivo dei minimi quadrati come minimizzare e con la soluzione . Almeno risale a allora ...x 1 = a + b x 2 ∑ ( x 1 - a - b x 2 ) 2 b 12 = ∑ x 1 x $x$$x_1 = a + bx_2$$\sum\left( x_1 - a - bx_2\right)^2$$b_{12} = \frac{\sum x_1x_2}{\sum x_2^2}$
  • RA Fisher, ancora più influente, usò per la variabile dipendente e per la variabile indipendente nel suo libro Statistical Methods for Research Workers del 1925 . (Hat tip a @Nick Cox per fornire link con informazioni.)$y$$x$

La buona notazione è come una buona lingua. Evitare il gergo specifico del campo, quando possibile. Scrivi nell'equivalente in matematica dell'alto inglese della BBC, lingua comprensibile a quasi tutti coloro che parlano inglese. Si dovrebbe scrivere, quando possibile, usando una notazione chiara e ampiamente compresa.