Statistiche e Big Data

2

Qualcuno può dirmi come interpretare le trame "Residui vs adattati", "Q-q normale", "posizione in scala" e "Residui contro leva"? Sto montando un GLM binomiale, salvandolo e quindi pianificandolo.

30 r logistic data-visualization generalized-linear-model qq-plot

2

Come interpretare il valore p del test di Kolmogorov-Smirnov (python)?

Ho due campioni che voglio testare (usando Python) se sono estratti dalla stessa distribuzione. Per fare ciò uso la funzione statistica ks_2samp di scipy.stats. Restituisce 2 valori e trovo difficoltà a interpretarli. Aiuto per favore!

30 python

7

Quali sono i rami delle statistiche?

In matematica, ci sono rami come l'algebra, l'analisi, la topologia, ecc. Nell'apprendimento automatico c'è l'apprendimento supervisionato, non supervisionato e di rinforzo. All'interno di ciascuno di questi rami, ci sono rami più fini che dividono ulteriormente i metodi. Ho problemi a tracciare un parallelo con le statistiche. Quali sarebbero i principali …

30 self-study classification

3

Estendere il paradosso del compleanno a più di 2 persone

Nel tradizionale paradosso del compleanno, la domanda è "quali sono le probabilità che due o più persone in un gruppo di persone condividano un compleanno". Sono bloccato su un problema che è un'estensione di questo.nnn Invece di conoscere la probabilità che due persone condividano un compleanno, ho bisogno di estendere …

29 probability combinatorics birthday-paradox

3

Se X e Y non sono correlati, anche X ^ 2 e Y non sono correlati?

Se due variabili casuali e non sono correlate, possiamo anche sapere che e non sono correlate? La mia ipotesi è si.XXXYYYX2X2X^2YYY X,YX,YX, Y non correlato significa , oppureE[XY]=E[X]E[Y]E[XY]=E[X]E[Y]E[XY]=E[X]E[Y] E[XY]=∫xyfX(x)fY(y)dxdy=∫xfX(x)dx∫yfY(y)dy=E[X]E[Y]E[XY]=∫xyfX(x)fY(y)dxdy=∫xfX(x)dx∫yfY(y)dy=E[X]E[Y] E[XY]=\int xy f_X(x)f_Y(y)dxdy=\int xf_X(x)dx\int yf_Y(y)dy=E[X]E[Y] Significa anche quanto segue? E[X2Y]=∫x2yfX(x)fY(y)dxdy=∫x2fX(x)dx∫yfY(y)dy=E[X2]E[Y]E[X2Y]=∫x2yfX(x)fY(y)dxdy=∫x2fX(x)dx∫yfY(y)dy=E[X2]E[Y] E[X^2Y]=\int x^2y f_X(x)f_Y(y)dxdy=\int x^2f_X(x)dx\int yf_Y(y)dy=E[X^2]E[Y]

29 random-variable independence

7

Qual è il punto di analisi delle serie temporali?

Qual è l'analisi delle serie temporali? Esistono molti altri metodi statistici, come la regressione e l'apprendimento automatico, che presentano evidenti casi d'uso: la regressione può fornire informazioni sulla relazione tra due variabili, mentre l'apprendimento automatico è ottimo per la previsione. Ma nel frattempo, non vedo a cosa serva l'analisi delle …

29 time-series arima

6

Perché non usare la terza derivata per l'ottimizzazione numerica?

Se gli hessiani sono così buoni per l'ottimizzazione (vedi ad esempio il metodo di Newton ), perché fermarsi qui? Usiamo il terzo, il quarto, il quinto e il sesto derivato? Perchè no?

29 optimization gradient-descent hessian

5

Distinzione tra due gruppi in statistica e apprendimento automatico: test di ipotesi vs. classificazione vs. clustering

Supponiamo di avere due gruppi di dati, etichettati A e B (ciascuno contenente ad esempio 200 campioni e 1 funzione), e voglio sapere se sono diversi. Potrei: a) eseguire un test statistico (ad es. t-test) per vedere se sono statisticamente diversi. b) utilizzare l'apprendimento automatico supervisionato (ad es. classificatore vettoriale …

29 machine-learning hypothesis-testing t-test unsupervised-learning supervised-learning

4

Quando devo bilanciare le classi in un set di dati di allenamento?

Ho seguito un corso online, dove ho appreso, che le classi sbilanciate nei dati di allenamento potrebbero causare problemi, perché gli algoritmi di classificazione vanno per la regola della maggioranza, in quanto danno buoni risultati se lo squilibrio è troppo. In un incarico si dovevano bilanciare i dati tramite sottocampionamento …

29 machine-learning classification unbalanced-classes

3

Una meta-analisi di studi che sono tutti "non statisticamente significativi" può portare a una conclusione "significativa"?

Una meta-analisi include una serie di studi, ognuno dei quali ha riportato un valore P superiore a 0,05. È possibile per la meta-analisi complessiva riportare un valore P inferiore a 0,05? In quali circostanze? (Sono abbastanza sicuro che la risposta sia sì, ma vorrei un riferimento o una spiegazione.)

29 statistical-significance meta-analysis combining-p-values

4

La rivista Science ha approvato il Garden of Forking Pathes Analyses?

L'idea dell'analisi adattativa dei dati è che si modifica il piano di analisi dei dati man mano che si apprendono ulteriori informazioni al riguardo. Nel caso dell'analisi esplorativa dei dati (EDA), questa è generalmente una buona idea (stai spesso cercando modelli imprevisti nei dati), ma per uno studio di conferma, …

29 hypothesis-testing overfitting eda out-of-sample differential-privacy

1

Perché dobbiamo normalizzare le immagini prima di metterle nella CNN?

Non sono chiaro il motivo per cui normalizziamo l'immagine per CNN per (image - mean_image)? Grazie!

29 deep-learning conv-neural-network image-processing

3

Metodi statistici per dati in cui è noto solo un valore minimo / massimo

Esiste un ramo di statistiche che si occupa di dati per i quali non sono noti valori esatti , ma per ogni individuo conosciamo un limite massimo o minimo al valore ? Sospetto che il mio problema derivi in gran parte dal fatto che sto lottando per articolarlo in termini …

29 biostatistics population bounds interval-censoring

3

Perché i nodi di polarizzazione sono utilizzati nelle reti neurali?

Perché i nodi di polarizzazione sono utilizzati nelle reti neurali? Quanti dovresti usare? In quali livelli dovresti usarli: tutti i livelli nascosti e il livello di output?

29 machine-learning neural-networks bias-node

5

C'è una spiegazione del perché ci sono così tanti fenomeni naturali che seguono la normale distribuzione?

Penso che questo sia un argomento affascinante e non lo capisco del tutto. Quale legge della fisica fa in modo che così tanti fenomeni naturali abbiano una distribuzione normale? Sembrerebbe più intuitivo che avrebbero una distribuzione uniforme. È così difficile per me capire questo e sento che mi mancano alcune …

29 distributions normal-distribution normality-assumption uniform