Statistiche e Big Data

2

Variabili casuali per le quali le disuguaglianze di Markov e Chebyshev sono strette

Sono interessato a costruire variabili casuali per le quali le disuguaglianze di Markov o Chebyshev sono strette. Un esempio banale è la seguente variabile casuale. P(X=1)=P(X=−1)=0.5P(X=1)=P(X=−1)=0.5P(X=1)=P(X=-1) = 0.5 . La sua media è zero, la varianza è 1 e . Per questo variabile casuale chebyshev è stretto (vale con l'uguaglianza).P(|X|≥1)=1P(|X|≥1)=1P(|X| …

9 probability distributions random-variable probability-inequalities

1

Modello lineare in cui i dati hanno incertezza, usando R

Diciamo che ho dei dati con qualche incertezza. Per esempio: X Y 1 10±4 2 50±3 3 80±7 4 105±1 5 120±9 La natura dell'incertezza potrebbe essere la ripetizione di misurazioni o esperimenti, o l'incertezza dello strumento di misurazione, ad esempio. Vorrei adattarci ad una curva usando R, qualcosa che …

9 r least-squares error-propagation

2

Regressione sul disco dell'unità a partire da campioni "spaziati uniformemente"

Devo risolvere un complicato problema di regressione sul disco dell'unità. La domanda originale ha attirato alcuni commenti interessanti, ma purtroppo nessuna risposta. Nel frattempo, ho imparato qualcosa in più su questo problema, quindi cercherò di dividere il problema originale in sottoproblemi e vedere se ho più fortuna questa volta. Ho …

9 regression spatial circular-statistics

1

Rilevamento del punto di cambio online bayesiano (distribuzione predittiva marginale)

Sto leggendo il documento di rilevazione del punto di cambio online bayesiano di Adams e MacKay ( link ). Gli autori iniziano scrivendo la distribuzione predittiva marginale: doveP(xt+1|x1:t)=∑rtP(xt+1|rt,x(r)t)P(rt|x1:t)(1)P(xt+1|x1:t)=∑rtP(xt+1|rt,xt(r))P(rt|x1:t)(1) P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1) è l'osservazione al tempo t ;xtxtx_tttt indica …

9 time-series bayesian inference change-point

1

Qualcuno può spiegare come ho 5 anni su questo problema dal libro ESL di Hastie?

Sto lavorando al libro ESL di Hastie e sto attraversando un periodo difficile con la domanda 2.3. La domanda è la seguente: Stiamo considerando una stima del vicino più vicino all'origine e questa distanza equivale alla distanza mediana dall'origine al punto dati più vicino. Non ho idea di dove cominciare …

9 machine-learning computational-statistics

2

Poisson troncato a zero e Poisson di base sono nidificati o non nidificati?

Ho visto molte cose che discutono se una regressione di Poisson di base sia una versione nidificata di una regressione di Poisson a gonfia zero. Ad esempio, questo sito sostiene che lo è, dal momento che quest'ultimo include parametri aggiuntivi per modellare zeri aggiuntivi, ma altrimenti include gli stessi parametri …

9 poisson-regression zero-inflation

6

Mi piacerebbe conoscere la teoria della probabilità, la teoria della misura e infine l'apprendimento automatico. Da dove comincio? [chiuso]

Chiuso . Questa domanda deve essere più focalizzata . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che si concentri su un problema solo modificando questo post . Chiuso 3 anni fa . Mi piacerebbe conoscere la teoria della probabilità, la teoria della misura …

9 machine-learning probability references measure-theory

1

Modo più semplice per trovare

Considera 3 iid campioni estratti dalla distribuzione uniforme , dove θ è un parametro. Voglio trovare E [ X ( 2 ) | X ( 1 ) , X ( 3 ) ] dove X ( i ) è la statistica dell'ordine i .u(θ,2θ)u(θ,2θ)u(\theta, 2\theta)θθ\thetaE[X(2)|X(1),X(3)]E[X(2)|X(1),X(3)] \mathbb{E}\left[X_{(2)}| X_{(1)}, X_{(3)}\right] X(i)X(i)X_{(i)}iii Mi …

9 uniform conditional-expectation order-statistics

1

Come distribuire in modo ottimale i disegni quando si calcolano più aspettative

Supponiamo di voler calcolare alcune aspettative: EYEX| Y[ f( X, Y) ]EYEX|Y[f(X,Y)]E_YE_{X|Y}[f(X,Y)] Supponiamo di voler approssimare questo usando la simulazione Monte Carlo. EYEX| Y[ f( X, Y) ] ≈ 1R SΣr = 1RΣs = 1Sf( xr , s, yr)EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r) Ma supponiamo che è costoso per prelevare dei campioni …

9 optimization conditional-probability simulation expected-value monte-carlo

1

Olimpiadi - L'Ungheria ha il piombo a doppia cifra in oro? (Relativo alla popolazione)

Ho creato una pagina Web che raccoglie i risultati delle medaglie olimpiche dal vivo di Thompson Reuters e il conteggio della popolazione mondiale della CIA. I risultati sono interessanti per me: l'Ungheria ha un vantaggio a doppia cifra nelle medaglie d'oro nel resto del mondo. Inoltre, gli Stati Uniti e …

9 statistical-significance

1

Come funziona lo studente di base lineare nel potenziamento? E come funziona nella libreria xgboost?

So implementare la funzione dell'obiettivo lineare e i boost lineari in XGBoost. La mia domanda concreta è: quando l'algoritmo si adatta al residuo (o al gradiente negativo) sta usando una caratteristica ad ogni passo (modello univariato) o tutte le caratteristiche (modello multivariato)? Qualsiasi riferimento alla documentazione relativa ai boost lineari …

9 regression machine-learning boosting xgboost

2

Modellisti di cricket che tirano fuori i battitori

Ho un set di dati che dettaglia un gran numero di giochi di cricket (alcune migliaia). Nel cricket i "lanciatori" lanciano ripetutamente una palla in successione di "battitori". Il giocatore di bocce sta cercando di far uscire il battitore. A questo proposito è abbastanza simile ai lanciatori e alle pastelle …

9 probability modeling games

3

Quando (e perché) i bayesiani rifiutano validi metodi bayesiani? [chiuso]

Chiuso . Questa domanda richiede dettagli o chiarezza . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiungi dettagli e chiarisci il problema modificando questo post . Chiuso 3 anni fa . Da quello che ho letto e dalle risposte ad altre domande che ho posto qui, molti cosiddetti …

9 bayesian frequentist philosophical

1

Distribuzione della forma quadratica delle normali

Sto cercando di capire la distribuzione di dove , lo so, prendendo ciascuno dei termini separatamente, e Ma non sono sicuro della distribuzione di (*)Z i ∼ N ( 0 , 1 ) n ∑ i = 1 Z 2 i ∼ χ 2 ( n ) 1( n - …

9 probability distributions normal-distribution

2

Riduzione dimensionale scalabile

Considerando il numero di funzionalità costante, Barnes-Hut t-SNE ha una complessità di , proiezioni casuali e PCA hanno una complessità di che le rende "convenienti" per insiemi di dati molto grandi.O ( n )O(nlogn)O(nlog⁡n)O(n\log n)O(n)O(n)O(n) D'altra parte, i metodi basati sul ridimensionamento multidimensionale hanno una complessità .O ( n2)O(n2)O(n^2) Esistono …

9 pca dimensionality-reduction large-data multidimensional-scaling tsne