Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

Quali sono i peccati statistici comuni?

Sono uno studente laureato in psicologia e mentre perseguo studi sempre più indipendenti in statistica, sono sempre più sorpreso dall'inadeguatezza della mia formazione formale. Sia l'esperienza personale che quella di seconda mano suggeriscono che la scarsità di rigore statistico nella formazione universitaria e universitaria è piuttosto onnipresente nella psicologia. In …

227 fallacy

C'è qualche motivo per preferire l'AIC o il BIC rispetto all'altro?

L'AIC e il BIC sono entrambi metodi per valutare l'adattamento del modello penalizzato per il numero di parametri stimati. Da quanto ho capito, BIC penalizza i modelli più per i parametri gratuiti di quanto non faccia AIC. Al di là di una preferenza basata sulla rigidità dei criteri, ci sono …

222 modeling aic cross-validation bic model-selection

Dimensione del lotto di compromesso rispetto al numero di iterazioni per la formazione di una rete neurale

Quando si allena una rete neurale, che differenza fa impostare: dimensione del lotto in e numero di iterazioni in bun'aaBbb rispetto alle dimensioni del batch in numero di iterazioni in dcccddd dove ?a b = c dab=cd ab = cd In altre parole, supponendo che addestriamo la rete neurale con …

222 neural-networks train

Quali sono le differenze tra Analisi fattoriale e Analisi dei componenti principali?

Sembra che un certo numero di pacchetti statistici che utilizzo includano questi due concetti insieme. Tuttavia, mi chiedo se ci sono diverse ipotesi o "formalità" di dati che devono essere vere per essere usate l'una sull'altra. Un vero esempio sarebbe incredibilmente utile.

215 pca factor-analysis

Qual è la differenza tra data mining, statistiche, machine learning e AI?

Qual è la differenza tra data mining, statistiche, machine learning e AI? Sarebbe preciso dire che sono 4 campi che tentano di risolvere problemi molto simili ma con approcci diversi? Cosa hanno esattamente in comune e dove differiscono? Se ci fosse una sorta di gerarchia tra loro, quale sarebbe? Domande …

208 machine-learning data-mining

Come sapere che il tuo problema di apprendimento automatico è senza speranza?

Immagina uno scenario di apprendimento automatico standard: Ti trovi di fronte a un ampio set di dati multivariato e ne hai una comprensione piuttosto sfocata. Quello che devi fare è fare previsioni su alcune variabili in base a ciò che hai. Come al solito, si puliscono i dati, si guardano …

207 machine-learning forecasting modeling model-selection forecastability

Come spiegheresti la covarianza a qualcuno che capisce solo la media?

... supponendo che io sia in grado di aumentare le loro conoscenze sulla varianza in modo intuitivo ( Comprensione intuitiva della "varianza" ) o dicendo: è la distanza media dei valori dei dati dalla "media" - e poiché la varianza è quadrata unità, prendiamo la radice quadrata per mantenere le …

207 variance covariance intuition

Quale "cattivo" usare e quando?

Quindi abbiamo media aritmetica (AM), media geometrica (GM) e media armonica (HM). La loro formulazione matematica è anche ben nota insieme ai loro esempi stereotipati associati (ad esempio, la media armonica e la sua applicazione ai problemi relativi alla "velocità"). Tuttavia, una domanda che mi ha sempre incuriosito è "come …

197 mean

Algoritmi per la selezione automatica del modello

Vorrei implementare un algoritmo per la selezione automatica del modello. Sto pensando di fare una regressione graduale, ma tutto lo farà (deve essere basato su regressioni lineari). Il mio problema è che non sono in grado di trovare una metodologia o un'implementazione open source (sto woking in java). La metodologia …

193 references feature-selection model-selection aic stepwise-regression

Qual è il miglior manuale introduttivo sulle statistiche bayesiane?

Qual è il miglior libro di testo introduttivo per le statistiche bayesiane? Un libro per risposta, per favore.

192 bayesian references

Come devo trasformare i dati non negativi inclusi gli zeri?

Se ho dati positivi molto distorti, prendo spesso i registri. Ma cosa dovrei fare con dati non negativi molto inclinati che includono zeri? Ho visto due trasformazioni utilizzate: ceppo( x + 1 )log⁡(x+1)\log(x+1) che ha la caratteristica ordinata che 0 mappa a 0. ceppo( x + c )log⁡(x+c)\log(x+c) dove c …

191 data-transformation large-data

Che cosa calcola il livello nascosto in una rete neurale?

Sono sicuro che molte persone risponderanno con link per "lasciami google che per te", quindi voglio dire che ho provato a capirlo, quindi perdona la mia mancanza di comprensione qui, ma non riesco a capire come l'attuazione pratica di una rete neurale funziona davvero. Capisco il livello di input e …

187 machine-learning neural-networks nonlinear-regression

Come riassumere i dati per gruppo in R? [chiuso]

Ho un frame di dati R in questo modo: age group 1 23.0883 1 2 25.8344 1 3 29.4648 1 4 32.7858 2 5 33.6372 1 6 34.9350 1 7 35.2115 2 8 35.2115 2 9 35.2115 2 10 36.7803 1 ... Devo ottenere il frame di dati nel seguente …

181 r data-transformation

Che cos'è uno scienziato di dati?

Dopo essermi laureato di recente in dottorato in statistica, negli ultimi mesi ho iniziato a cercare lavoro nel campo statistico. Quasi tutte le aziende che ho considerato avevano un annuncio di lavoro con il titolo di " Data Scientist ". In effetti, sembrava che fossero passati i tempi in cui …

181 terminology definition careers

Qual è la dimensione del batch nella rete neurale?

Sto usando Python Keras packageper la rete neurale. Questo è il collegamento . È batch_sizeuguale al numero di campioni di prova? Da Wikipedia abbiamo queste informazioni: Tuttavia, in altri casi, la valutazione del gradiente di somma può richiedere costose valutazioni dei gradienti da tutte le funzioni di summand. Quando il …

176 neural-networks python terminology keras

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.

Licensed under cc by-sa 3.0 with attribution required.