Statistiche e Big Data

2

Campionamento dalla distribuzione von Mises-Fisher in Python?

Sto cercando un modo semplice per campionare da una distribuzione multivariata von Mises-Fisher in Python. Ho cercato nel modulo stats in scipy e nel modulo numpy ma ho trovato solo la distribuzione univariata di von Mises. C'è qualche codice disponibile? Non ho ancora trovato Apparentemente, Wood (1994) ha progettato un …

14 distributions sampling python

3

Come posso rilevare a livello di codice segmenti di una serie di dati per adattarsi a curve diverse?

Esistono algoritmi documentati per separare sezioni di un determinato set di dati in diverse curve di adattamento ottimale? Ad esempio, la maggior parte degli umani che guardano questo diagramma di dati lo dividerebbero prontamente in 3 parti: un segmento sinusoidale, un segmento lineare e il segmento esponenziale inverso. In effetti, …

14 fitting curve-fitting segmentation

3

perdita della cerniera rispetto alla perdita logistica vantaggi e svantaggi / limitazioni

La perdita della cerniera può essere definita usando e la perdita del log può essere definita come log ( 1 + exp ( - y i w T x i ) )max ( 0 , 1 - yiowTXio)max(0,1-yiowTXio)\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)log ( 1 + exp( - yiowTXio) )log(1+exp⁡(-yiowTXio))\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i)) Ho le …

14 machine-learning svm loss-functions computer-vision

4

Intervalli di confidenza quando la dimensione del campione è molto grande

La mia domanda potrebbe essere riformulata come "come valutare un errore di campionamento usando i big data", specialmente per una pubblicazione su una rivista. Ecco un esempio per illustrare una sfida. Da un set di dati molto ampio (> 100000 pazienti unici e i loro farmaci prescritti da 100 ospedali), …

14 confidence-interval large-data reporting

3

Ipotesi per derivare lo stimatore OLS

Qualcuno può spiegare brevemente per me, perché ciascuna delle sei ipotesi è necessaria per calcolare lo stimatore OLS? Ho scoperto solo della multicollinearità, che se esiste non possiamo invertire la matrice (X'X) e stimare a sua volta lo stimatore generale. E gli altri (ad es. Linearità, zero errori medi, ecc.)?

14 least-squares assumptions

3

Splines vs regressione del processo gaussiana

So che la regressione del processo gaussiana (GPR) è un'alternativa all'utilizzo di spline per il montaggio di modelli non lineari flessibili. Vorrei sapere in quali situazioni uno sarebbe più adatto dell'altro, specialmente nel quadro della regressione bayesiana. Ho già esaminato Quali sono i vantaggi / gli svantaggi dell'utilizzo di spline, …

14 regression gaussian-process splines kriging

1

Perché i modelli di effetti misti risolvono la dipendenza?

Supponiamo che siamo interessati a come i voti degli esami degli studenti sono influenzati dal numero di ore che quegli studenti studiano. Per esplorare questa relazione, potremmo eseguire la seguente regressione lineare: exam.gradesi=a+β1×hours.studiedi+eiexam.gradesio=un'+β1×hours.studiedio+eio \text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i Ma se campioniamo gli alunni di diverse scuole, …

14 regression mixed-model random-effects-model non-independent

1

Perché l'aggiunta di un effetto di ritardo aumenta la devianza in un modello gerarchico bayesiano?

Antefatto: attualmente sto lavorando a un confronto tra vari modelli gerarchici bayesiani. I dati sono misure numeriche di benessere per il partecipante i e il tempo j . Ho circa 1000 partecipanti e da 5 a 10 osservazioni per partecipante.yio jyiojy_{ij}ioioijjj Come con la maggior parte dei set di dati …

14 bayesian autocorrelation hierarchical-bayesian deviance

2

Risultati diversi da randomForest via caret e dal pacchetto randomForest di base

Sono un po 'confuso: in che modo i risultati di un modello addestrato tramite il cursore possono differire dal modello nella confezione originale? Ho letto Se è necessaria la preelaborazione prima della previsione utilizzando FinalModel di RandomForest con pacchetto di inserimento? ma non uso alcuna preelaborazione qui. Ho addestrato diverse …

14 r machine-learning random-forest caret train

1

La differenza tra regressione logistica e macchine vettoriali di supporto?

So che la regressione logistica trova un iperpiano che separa i campioni di addestramento. So anche che Support vector machines trova l'iperpiano con il margine massimo. La mia domanda: allora la differenza tra regressione logistica (LR) e macchine vettoriali di supporto (SVM) è che LR trova un iperpiano che separa …

14 machine-learning classification svm data-mining

2

GLM: verifica della scelta della funzione di distribuzione e collegamento

Ho un modello lineare generalizzato che adotta una distribuzione gaussiana e una funzione log link. Dopo aver adattato il modello, controllo i residui: diagramma QQ, residui vs valori previsti, istogramma dei residui (riconoscendo che è necessaria la dovuta cautela). Sembra tutto a posto. Questo sembra suggerire (per me) che la …

14 regression generalized-linear-model link-function

1

Quando dovremmo usare i tantili e il mediale, piuttosto che i quantili e la mediana?

Non riesco a trovare definizioni per tantile o mediale su Wikipedia o Wolfram Mathworld, ma la seguente spiegazione è data in Bílková, D. e Mala, I. (2012), " Applicazione del metodo L-moment quando si modella la distribuzione del reddito nella Repubblica ceca ", Austrian Journal of Statistics , 41 (2), …

14 descriptive-statistics quantiles median average partial-moments

1

Da exp (coefficienti) a Odds Ratio e la loro interpretazione nella regressione logistica con fattori

Ho corso una regressione lineare dell'accettazione al college contro i punteggi SAT e la famiglia / origine etnica. I dati sono fittizi. Questo è il seguito di una domanda precedente, a cui è già stata data una risposta. La domanda si concentra sulla raccolta e l'interpretazione dei rapporti di probabilità …

14 r regression logistic

1

C'è qualche differenza tra l'addestramento di un codificatore automatico in pila e una rete neurale a 2 strati?

Diciamo che sto scrivendo un algoritmo per la creazione di un codificatore automatico sovrapposto a 2 strati e di una rete neurale a 2 strati. Sono le stesse cose o le stesse differenze? Quello che capisco è che quando costruisco un codificatore automatico in pila, costruisco strato per strato. Per …

14 neural-networks deep-learning autoencoders

1

Stessa media, varianza diversa

Supponiamo di avere otto corridori che corrono una gara; la distribuzione dei loro tempi di esecuzione individuali è normale e ciascuno ha una media di 111111 secondi, diciamo. La deviazione standard del runner è la più piccola, due la seconda più piccola, la terza più piccola, ecc. E otto la …

14 probability normal-distribution mathematical-statistics order-statistics