Statistiche e Big Data

Tendenza, diffusione e asimmetria centrali possono essere tutte definite relativamente bene, almeno su base intuitiva; le misure matematiche standard di queste cose corrispondono anche relativamente bene alle nostre nozioni intuitive. Ma la curtosi sembra essere diversa. È molto confuso e non si abbina bene con alcuna intuizione sulla forma distributiva. …

17 descriptive-statistics  kurtosis  teaching  l-moments 

In generale, in un problema di classificazione in cui l'obiettivo è prevedere con precisione l'appartenenza alla classe fuori campione, quando non dovrei usare un classificatore di ensemble? Questa domanda è strettamente correlata a Perché non usare sempre l'apprendimento d'insieme? . Questa domanda ci chiede perché non usiamo sempre ensemble. Voglio …

17 classification  boosting  ensemble  bagging 

Mi viene chiesto di trovare i valori p per le statistiche descrittive. Tuttavia, capisco che i valori p sono per le statistiche dei test. Se non sbaglio, un valore p è la probabilità di osservare un valore estremo come la statistica del test se l'ipotesi nulla fosse vera.

17 hypothesis-testing  descriptive-statistics  inference 

Qualcuno può spiegarmi la reale differenza (s) tra analisi di regressione e adattamento della curva (lineare e non lineare), con un esempio se possibile? Sembra che entrambi provino a trovare una relazione tra due variabili (dipendente vs indipendente) e quindi determinino il parametro (o coefficiente) associato ai modelli proposti. Ad …

17 regression  multiple-regression  fitting  roc  curve-fitting 

Disegna casualmente nnn intervalli da [0,1][0,1][0,1] , in cui ciascun punto finale A, B viene selezionato dalla distribuzione uniforme tra [0,1][0,1][0,1] . Qual è la probabilità che almeno un intervallo si sovrapponga a tutti gli altri?

17 probability 

Ho (approssimativamente) sentito che: il bagging è una tecnica per ridurre la varianza di un algoritmo predittore / stimatore / apprendimento. Tuttavia, non ho mai visto una prova matematica formale di questa affermazione. Qualcuno sa perché questo è matematicamente vero? Sembra essere un fatto così ampiamente riconosciuto / conosciuto, che …

17 machine-learning  mathematical-statistics  bagging 

Ho alcuni dati che ho inserito usando un modello LOESS in R, dandomi questo: I dati hanno un predittore e una risposta ed è eteroscedastico. Ho anche aggiunto intervalli di confidenza. Il problema è che gli intervalli sono intervalli di confidenza per la linea, mentre io sono interessato agli intervalli …

17 r  regression  prediction-interval  loess 

Sono nuovo di Recurrent Neural Networks (RNN) e sto ancora imparando i concetti. Comprendo a livello astratto che una Echo State Network (ESN) è in grado di (ri) produrre una sequenza di ingressi, cioè un segnale, anche dopo che l'ingresso è stato rimosso. Tuttavia, ho trovato l' articolo di Scholarpedia …

17 neural-networks 

Ho quattro variabili indipendenti uniformemente distribuite a,b,c,da,b,c,da,b,c,d , ciascuna in [0,1][0,1][0,1] . Voglio calcolare la distribuzione di (a−d)2+4bc(a−d)2+4bc(a-d)^2+4bc . Ho calcolato la distribuzione di u2=4bcu2=4bcu_2=4bc in (quindi ), e di deve esseref2(u2)=−14lnu24f2(u2)=−14ln⁡u24f_2(u_2)=-\frac{1}{4}\ln\frac{u_2}{4}u2∈(0,4]u2∈(0,4]u_2\in(0,4]u1=(a−d)2u1=(a−d)2u_1=(a-d)^2f1(u1)=1−u1−−√u1−−√.f1(u1)=1−u1u1.f_1(u_1)=\frac{1-\sqrt{u_1}}{\sqrt{u_1}}.Ora, la distribuzione di una somma u1+u2u1+u2u_1+u_2 è ( u1,u2u1,u2u_1,\, u_2 sono anche indipendenti) fu1+u2(x)=∫+∞−∞f1(x−y)f2(y)dy=−14∫401−x−y−−−−√x−y−−−−√⋅lny4dy,fu1+u2(x)=∫−∞+∞f1(x−y)f2(y)dy=−14∫041−x−yx−y⋅ln⁡y4dy,f_{u_1+u_2}(x)=\int_{-\infty}^{+\infty}f_1(x-y)f_2(y)dy=-\frac{1}{4}\int_0^4\frac{1-\sqrt{x-y}}{\sqrt{x-y}}\cdot\ln\frac{y}{4}dy, perché y∈(0,4]y∈(0,4]y\in(0,4] . Qui …

17 distributions  random-variable  pdf  uniform  mathematica 

Ho lavorato con la convinzione che la mediana del campione sia una misura più robusta della tendenza centrale rispetto alla media del campione, poiché ignora i valori anomali. Sono stato quindi sorpreso di apprendere (nella risposta a un'altra domanda ) che per i campioni prelevati da una distribuzione normale, la …

17 distributions  median  intuition  mean  efficiency 

Sto ripubblicando una "risposta" a una domanda che avevo posto due settimane fa qui: Perché è utile il Jeffreys? Era davvero una domanda (e non avevo nemmeno il diritto di pubblicare commenti in quel momento), quindi spero sia giusto farlo: Nel link sopra si discute che l'interessante caratteristica di Jeffreys …

17 bayesian  mathematical-statistics  fisher-information  jeffreys-prior  invariance 

Perché le "serie temporali" si chiamano così? Serie significa somma di una sequenza. Perché sono serie temporali, non sequenze temporali? Il tempo è la variabile indipendente?

17 time-series  self-study  references  terminology 

Secondo questo articolo di Wikipedia , si può rappresentare il prodotto delle probabilità x⋅ycome -log(x) - log(y)rendere il calcolo più computazionalmente ottimale. Ma se provo un esempio dì: p1 = 0.5 p2 = 0.5 p1 * p2 = 0.25 -log(p1) - log(p2) = 2 p3 = 0.1 p4 = 0.1 …

17 probability  logarithm  arithmetic 

Stavo leggendo la seguente giustificazione (dalle note del corso cs229) sul perché dividiamo i dati grezzi per la loro deviazione standard: anche se capisco cosa sta dicendo la spiegazione, non mi è chiaro il motivo per cui la divisione per la deviazione standard avrebbe raggiunto un tale obiettivo. Dice che …

17 machine-learning  pca  mathematical-statistics 

Ho notato che molti pacchetti e temi "all'avanguardia" e molti illustri utenti di dati usano lo sfondo grigio per le loro trame. Ecco alcuni esempi: ggplot2: Fivethirtyeight.com di Nate Silver: Mentre nel primo esempio sopra (ggplot2), si potrebbe sostenere che l'uso dello sfondo grigio riduce l'inchiostro necessario per le linee …

17 data-visualization  ggplot2