Statistiche e Big Data

2

Come rendere più fluidi i dati e forzare la monotonicità

Ho alcuni dati che vorrei lisciare in modo che i punti levigati diminuiscano monotonicamente. I miei dati diminuiscono drasticamente e poi iniziano ad aumentare. Ecco un esempio usando R df <- data.frame(x=1:10, y=c(100,41,22,10,6,7,2,1,3,1)) ggplot(df, aes(x=x, y=y))+geom_line() Qual è una buona tecnica di lisciatura che potrei usare? Inoltre, sarebbe bello se …

14 regression smoothing

3

Perché il numero di variabili uniformi continue su (0,1) necessarie affinché la loro somma superi una ha media

Sommiamo un flusso di variabili casuali, ; lascia che sia il numero di termini di cui abbiamo bisogno affinché il totale superi uno, ovvero è il numero più piccolo tale cheXi∼iidU(0,1)Xi∼iidU(0,1)X_i \overset{iid}\sim \mathcal{U}(0,1)YYYYYY X1+X2+⋯+XY>1.X1+X2+⋯+XY>1.X_1 + X_2 + \dots + X_Y > 1. Perché la media di YYY uguale alla costante …

14 probability self-study expected-value uniform

2

Regressione alla media in "Pensare, veloce e lento"

In Thinking, Fast and Slow , Daniel Kahneman pone la seguente domanda ipotetica: (P. 186) Julie è attualmente senior in un'università statale. Lesse fluentemente quando aveva quattro anni. Qual è la sua media dei voti (GPA)? La sua intenzione è di illustrare come spesso non riusciamo a rendere conto della …

14 standard-deviation regression-coefficients regression-to-the-mean

3

Per intuizione, quali sono alcuni esempi di vita reale di variabili casuali non correlate ma dipendenti?

Nello spiegare perché non correlato non implica indipendente, ci sono diversi esempi che coinvolgono un mucchio di variabili casuali, ma sembrano tutti così astratti: 1 2 3 4 . Questa risposta sembra avere senso. La mia interpretazione: una variabile casuale e il suo quadrato potrebbero non essere correlati (poiché apparentemente …

14 correlation independence non-independent garch intuition

3

Riferimenti che giustificano l'uso di miscele gaussiane

I modelli di miscele gaussiane (GMM) sono allettanti perché sono semplici da lavorare sia in termini analitici che pratici e sono in grado di modellare alcune distribuzioni esotiche senza troppa complessità. Ci sono alcune proprietà analitiche che dovremmo aspettarci di possedere che non sono chiare in generale. In particolare: Supponiamo …

14 probability normal-distribution references gaussian-mixture information-theory

2

Inferenza statistica sotto errata specificazione

Il trattamento classico dell'inferenza statistica si basa sul presupposto che esista una statistica correttamente specificata. Cioè, la distribuzione che ha generato i dati osservati fa parte del modello statistico : Tuttavia, nella maggior parte dei casi non possiamo supporre che ciò sia veramente vero. Mi chiedo cosa succede con le …

14 hypothesis-testing confidence-interval model frequentist misspecification

1

Qual è il significato degli autovettori di una matrice di informazione reciproca?

Quando si osservano gli autovettori della matrice di covarianza, si ottengono le direzioni della massima varianza (il primo autovettore è la direzione in cui i dati variano maggiormente, ecc.); questo si chiama analisi dei componenti principali (PCA). Mi chiedevo cosa significherebbe guardare gli autovettori / i valori della matrice delle …

14 pca entropy mutual-information eigenvalues

3

Reti neurali profonde - Solo per la classificazione delle immagini?

Tutti gli esempi che ho trovato usando convinzioni profonde o reti neurali convoluzionali li usano per la classificazione delle immagini, il rilevamento dei chatacter o il riconoscimento vocale. Le reti neurali profonde sono utili anche per le attività di regressione classica, in cui le caratteristiche non sono strutturate (ad esempio, …

14 regression machine-learning neural-networks deep-learning

1

La differenza tra effetto di trattamento medio e marginale

Ho letto alcuni articoli e non sono chiaro sulle definizioni specifiche di Average Treatment Effect (ATE) e Marginal Treatment Effect (MTE). Sono gli stessi? Secondo Austin ... Un effetto condizionale è l'effetto medio, a livello di soggetto, di spostare un soggetto da non trattato a trattato. Il coefficiente di regressione …

14 causality hazard propensity-scores marginal-effect marginal-model

3

Come eseguire la suddivisione dei dati e convalidare il treno?

Sto facendo la classificazione delle immagini usando l'apprendimento automatico. Supponiamo che io abbia alcuni dati di allenamento (immagini) e li dividerò in set di addestramento e validazione. E voglio anche aumentare i dati (produrre nuove immagini da quelle originali) con rotazioni casuali e iniezione di rumore. Augmentaion viene eseguito offline. …

14 machine-learning classification cross-validation dataset data-augmentation

4

Libri di testo / letture su cosa fare quando non riesci a creare un esperimento ideale?

La mia formazione statistica è radicata nelle statistiche matematiche e prendere queste lezioni di metodi nella mia SM è un po 'uno shock al momento; è attualmente difficile per me essere in grado di comprendere alcuni di questi metodi "applicati" poiché non ho esperienza nel settore. Uno degli argomenti di …

14 references experiment-design

1

Comprensione della regressione del processo gaussiana tramite la vista della funzione base infinita dimensionale

Si dice spesso che la regressione del processo gaussiano corrisponda (GPR) alla regressione lineare bayesiana con una quantità (forse) infinita di funzioni di base. Attualmente sto cercando di capire questo in dettaglio per ottenere un'intuizione per quale tipo di modelli posso esprimere usando GPR. Pensi che questo sia un buon …

14 gaussian-process kernel-trick basis-function

5

Percorso di statistiche matematiche senza sfondo di analisi: libro di testo ideale per l'autoapprendimento

Sono abbastanza matematicamente incline - avevo 6 semestri di matematica nei miei studi universitari - anche se sono un po 'fuori allenamento e lento con le equazioni differenziali parziali e gli integrali di percorso i miei concetti tornano con un po' di pratica. Non ho avuto un corso sulle prove …

14 mathematical-statistics references

3

Quali algoritmi veloci esistono per il calcolo dell'SVD troncato?

Forse fuori tema qui, ma esistono già diverse ( una , due ) domande correlate. Frugando in letteratura (o una ricerca su google per algoritmi SVD troncati ) si presentano molti documenti che usano SVD troncati in vari modi e affermano (frustrantemente, spesso senza citazione) che ci sono algoritmi veloci …

14 algorithms svd numerics

2

Trasformazione dei dati: tutte le variabili o solo quelle non normali?

In Andy Field's Discovering Statistics Using SPSS afferma che tutte le variabili devono essere trasformate. Tuttavia nella pubblicazione: "Esaminando le relazioni spazialmente variabili tra uso del suolo e qualità dell'acqua usando la regressione geograficamente ponderata I: progettazione e valutazione del modello", si afferma specificamente che sono state trasformate solo le …

14 normal-distribution data-transformation