Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

2
Prevedere i requisiti di memoria della CPU e della GPU dell'allenamento DNN
Supponiamo che io abbia un'architettura di modello di deep learning, nonché una dimensione mini-batch scelta. Come posso derivare da questi i requisiti di memoria previsti per l'addestramento di quel modello? Ad esempio, si consideri un modello (non ricorrente) con input di dimensione 1000, 4 layer nascosti completamente connessi di dimensione …
1
In che modo uno stimatore che minimizza una somma ponderata di distorsioni quadrate e varianza si adatta alla teoria delle decisioni?
Okay - il mio messaggio originale non è riuscito a ottenere una risposta; quindi, lasciami porre la domanda in modo diverso. Inizierò spiegando la mia comprensione della stima da una prospettiva teorica decisionale. Non ho una formazione formale e non mi sorprenderebbe se il mio pensiero fosse in qualche modo …
4
Perché è richiesta la discesa gradiente?
Quando possiamo differenziare la funzione di costo e trovare parametri risolvendo equazioni ottenute attraverso una differenziazione parziale rispetto a ciascun parametro e scoprire dove la funzione di costo è minima. Inoltre penso che sia possibile trovare più luoghi in cui i derivati ​​sono zero, quindi possiamo verificare tutti questi posti …
1
Spiegazione intuitiva della perdita di log
In diverse competizioni kaggle il punteggio si basava sulla "perdita di log". Ciò si riferisce all'errore di classificazione. Ecco una risposta tecnica ma sto cercando una risposta intuitiva. Mi sono piaciute molto le risposte a questa domanda sulla distanza di Mahalanobis, ma PCA non è in perdita. Posso usare il …
2
Come dimostrare la cooperazione dalle sequenze comportamentali
Situazione: due uccelli (maschio e femmina) proteggono le loro uova nel nido contro un intruso. Ogni uccello può usare un attacco o una minaccia per proteggersi ed essere presente o assente. Esiste uno schema che emerge dai dati secondo cui il comportamento può essere complementare: gli attacchi maschili mentre le …
2
Spiegazione lucida per la "stabilità numerica dell'inversione della matrice" nella regressione della cresta e il suo ruolo nella riduzione dell'overfit
Capisco che possiamo impiegare la regolarizzazione in un problema di regressione dei minimi quadrati come w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] e che questo problema ha una soluzione a forma chiusa come: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Vediamo che nella seconda equazione, la regolarizzazione sta semplicemente aggiungendo λλ\lambda alla …
1
Esistono applicazioni in cui SVM è ancora superiore?
L'algoritmo SVM è piuttosto vecchio: è stato sviluppato negli anni '60, ma era estremamente popolare negli anni '90 e 2000. È una parte classica (e piuttosto bella) dei corsi di apprendimento automatico. Oggi sembra che nell'elaborazione dei media (immagini, suoni, ecc.) Le reti neurali dominino completamente, mentre in altre aree …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.