Statistiche e Big Data

2

Come visualizzeresti un imbuto segmentato? (e potresti farlo con Python?)

Ho visto questo post su Moz che presentava una canalizzazione di marketing segmentata: Questo genere di cose avrebbe un bel po 'di valore nel mio lavoro. Quello che non ho idea è come visualizzare i dati grezzi per mostrare un imbuto segmentato come questo. L'idea è che i lead di …

9 data-visualization python funnel-plot

2

Selezione del numero di componenti principali sparsi da includere nella regressione

Qualcuno ha esperienza con gli approcci per selezionare il numero di componenti principali sparsi da includere in un modello di regressione?

9 pca sparse regression-strategies

2

Orientamento all'ottimismo: stime dell'errore di previsione

Il libro Elements of Statistical Learning (disponibile in PDF online) discute il pregiudizio ottimisim (7.21, pagina 229). Indica che il pregiudizio all'ottimismo è la differenza tra l'errore dell'allenamento e l'errore nel campione (errore osservato se campioniamo nuovi valori di risultato in ciascuno dei punti di allenamento originali) (per sotto). Successivamente, …

9 error bias validation

1

I condizionali completi possono determinare la distribuzione articolare?

Ho sentito che tutti i condizionali completi (usati nel campionamento di Gibbs) possono determinare la distribuzione congiunta. Ma non capisco perché e come. O ho sentito male? Grazie!

9 distributions

1

Valore di interruzione della distanza di Cook

Ho letto a distanza del cuoco per identificare i valori anomali che hanno un'alta influenza sulla mia regressione. Nello studio originale di Cook, afferma che un tasso di cut-off di 1 dovrebbe essere comparabile per identificare gli influenzatori. Tuttavia, vari altri studi usano o come cut-off.4n4n\frac{4}{n}4n - k - 14n-K-1\frac{4}{n-k-1} …

9 outliers cooks-distance

2

R rileva la tendenza crescente / decrescente delle serie storiche

Ho un sacco di serie temporali con periodi: giorno, settimana o mese. Con la stl()funzione o con loess(x ~ y)posso vedere come appaiono le tendenze di particolari serie storiche. Devo rilevare se la tendenza delle serie temporali è in aumento o in diminuzione. Come posso gestirlo? Ho provato a calcolare …

9 r time-series trend

1

Montaggio di un coefficiente DLM variabile nel tempo

Voglio adattare un DLM con coefficienti variabili nel tempo, ovvero un'estensione alla solita regressione lineare, .yt=θ1+θ2x2yt=θ1+θ2x2y_t = \theta_1 + \theta_2x_2 Ho un predittore ( ) e una variabile di risposta ( y t ), rispettivamente catture ittiche marine e interne dal 1950 al 2011. Voglio seguire il modello di regressione …

9 r regression time-series dlm dynamic-regression

3

Intuizione su un'entropia comune

Ho difficoltà a sviluppare alcune intuizioni sull'entropia articolare. = incertezza nella distribuzione congiunta ; = incertezza in ; = incertezza in .p ( x , y ) H ( X ) p x ( x ) H ( Y ) p y ( y )H( X, Y)H(X,Y)H(X,Y)p ( x , …

9 information-theory mutual-information

1

In che modo la stima della massima verosimiglianza ha una distribuzione normale approssimativa?

Ho letto MLE come metodo per generare una distribuzione adattata. Mi sono imbattuto in una dichiarazione in cui si afferma che le stime di massima verosimiglianza "hanno distribuzioni normali approssimative". Questo significa che se applico MLE volte ripetute sui miei dati e sulla famiglia di distribuzioni a cui sto tentando …

9 normal-distribution estimation maximum-likelihood

1

Devo segnalare intervalli credibili anziché intervalli di confidenza?

Dopo essermi imbattuto nel concetto in un libro di testo sulle statistiche, ho cercato di coprirmi la testa e alla fine sono giunto a una conclusione che sembra corrispondere a tutte le spiegazioni che ho visto finora: un intervallo credibile è ciò che i non statistici pensano che una fiducia …

9 confidence-interval methodology credible-interval

2

Incorporando variabili esplicative più dettagliate nel tempo

Sto cercando di capire come potrei modellare al meglio una variabile in cui nel tempo ho ottenuto predittori sempre più dettagliati. Ad esempio, prendere in considerazione la modellizzazione dei tassi di recupero sui prestiti inadempienti. Supponiamo di avere un set di dati con 20 anni di dati e nei primi …

9 regression missing-data

2

Perché 0,05 <p <0,95 risultati sono chiamati falsi positivi?

Modifica: la base della mia domanda è imperfetta e ho bisogno di dedicare un po 'di tempo a capire se può anche avere un senso. Modifica 2: Chiarire che riconosco che un valore p non è una misura diretta della probabilità di un'ipotesi nulla, ma suppongo che più un valore …

9 hypothesis-testing p-value

1

Strano modo di calcolare chi-quadrato in Excel vs R

Sto guardando un foglio Excel che afferma di calcolare il , ma non riconosco questo modo di farlo, e mi chiedevo se mi mancasse qualcosa.χ2χ2\chi^2 Ecco i dati che sta analizzando: +------------------+----------+----------+ | Total Population | Observed | Expected | +------------------+----------+----------+ | 2000 | 42 | 32.5 | | 2000 …

9 r chi-squared excel

1

Applicare la regressione della cresta per un sistema di equazioni indefinito?

Quando , il problema dei minimi quadrati che impone una restrizione sferica sul valore di può essere scritto come per un sistema indefinito. \ | \ cdot \ | _2 è la norma euclidea di un vettore.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - …

9 regression least-squares regularization ridge-regression underdetermined

3

Perché la regressione lineare non è in grado di prevedere l'esito di una semplice sequenza deterministica?

Un mio collega mi ha inviato questo problema apparentemente facendo il giro su Internet: If $3 = 18, 4 = 32, 5 = 50, 6 = 72, 7 = 98$, Then, $10 =$ ? La risposta sembra essere 200. 3*6 4*8 5*10 6*12 7*14 8*16 9*18 10*20=200 Quando eseguo una …

9 r regression lm