Statistiche e Big Data

5

Come posso detrarre le serie temporali? Va bene solo fare la prima differenza ed eseguire un test Dickey Fuller, e se è fermo siamo a posto? Ho anche scoperto online che posso detrarre le serie storiche facendo questo in Stata: reg lncredit time predict u_lncredit, residuals twoway line u_lncredit time …

13 regression time-series stata stationarity

5

Come posso gestire al meglio gli effetti dei marcatori con diversi livelli di generosità nella classificazione dei documenti degli studenti?

Circa 600 studenti hanno ottenuto un punteggio su una vasta valutazione, che si può presumere abbia una buona affidabilità / validità. La valutazione è valutata su 100 ed è un test a scelta multipla contrassegnato dal computer. Quei 600 studenti hanno anche punteggi su un secondo, minore, pezzo di valutazione. …

13 agreement-statistics

1

Inferenza non valida quando le osservazioni non sono indipendenti

Ho imparato dalle statistiche elementari che, con un modello lineare generale, affinché le inferenze siano valide, le osservazioni devono essere indipendenti. Quando si verifica il clustering, l'indipendenza potrebbe non essere più ritenuta determinante un'inferenza non valida a meno che ciò non sia giustificato. Un modo per tenere conto di tale …

13 r mixed-model inference independence

2

Esempio di incoerente stimatore della massima verosimiglianza

Sto leggendo un commento a un articolo e l'autore afferma che a volte, anche se gli stimatori (rilevati da ML o massima quasilikelihood) potrebbero non essere coerenti, la potenza di un rapporto di verosimiglianza o di un rapporto di quasi verosimiglianza può ancora convergere in 1 poiché il numero di …

13 mathematical-statistics references inference power consistency

1

Perché non usare sempre l'apprendimento d'insieme?

Mi sembra che l'apprendimento d'insieme fornirà sempre migliori prestazioni predittive rispetto a una singola ipotesi di apprendimento. Quindi, perché non li usiamo sempre? La mia ipotesi è forse a causa di limitazioni computazionali? (anche allora, usiamo predittori deboli, quindi non lo so).

13 boosting ensemble bagging

2

Usando il pacchetto caret è possibile ottenere matrici di confusione per valori soglia specifici?

Ho ottenuto un modello di regressione logistica (via train) per una risposta binaria e ho ottenuto la matrice di confusione logistica tramite confusionMatrixin caret. Mi dà la matrice di confusione del modello logistico, anche se non sono sicuro di quale soglia venga utilizzata per ottenerlo. Come posso ottenere la matrice …

13 r classification roc caret confusion-matrix

1

Come verificare se una distribuzione segue una legge di potere?

Ho dei dati su quanti utenti pubblicano quante domande. Per esempio, [UserCount, QuestionCount] [2, 100] [9, 10] [3, 80] ... ... Ciò significa che 2 utenti hanno pubblicato 100 domande ciascuno, 9 utenti hanno inviato 10 domande ciascuno e così via. Quindi, come posso determinare se la UserCount, QuestionCountdistribuzione segue …

13 r hypothesis-testing goodness-of-fit power-law

2

Derivazione della distribuzione bivariata di Poisson

Di recente ho incontrato la distribuzione bivariata di Poisson, ma sono un po 'confuso su come possa essere derivato. La distribuzione è data da: P ( X = x , Y = y ) = e - ( θ 1 + θ 2 + θ 0 ) θ x 1x …

13 distributions mathematical-statistics multivariate-analysis poisson-distribution proof

2

C'è mai un motivo per non usare i polinomi ortogonali quando si adattano le regressioni?

In generale, mi chiedo se è sempre meglio non usare i polinomi ortogonali quando si adatta una regressione con variabili di ordine superiore. In particolare, mi chiedo con l'uso di R: Se poly()con raw = FALSEproduce gli stessi valori stimati come poly()con raw = TRUE, e polycon raw = FALSErisolve …

13 r regression polynomial

4

In che modo la validazione incrociata è diversa dallo snooping dei dati?

Ho appena finito "Un'introduzione all'apprendimento statistico" . Mi chiedevo se l'uso della convalida incrociata per trovare i migliori parametri di ottimizzazione per varie tecniche di apprendimento automatico è diverso dallo snooping dei dati? Stiamo verificando ripetutamente quale valore del parametro di ottimizzazione determina un miglior risultato predittivo nel set di …

13 machine-learning cross-validation

2

Variabile casuale uniforme discreta (?) Che prende tutti i valori razionali in un intervallo chiuso

Ho appena avuto un attacco di panico (intellettuale). Una variabile casuale continua che segue un'uniforme in un intervallo chiuso U( a , b )U(un',B)U(a,b) : un concetto statistico comodamente familiare. Un camper uniforme continuo con supporto sui reali estesi (metà o intero): non un camper vero e proprio, ma un …

13 probability distributions mathematical-statistics uniform

1

Perché R's lm () restituisce stime di coefficienti diverse rispetto al mio libro di testo?

sfondo Sto cercando di capire il primo esempio in un corso sui modelli di adattamento (quindi questo può sembrare ridicolmente semplice). Ho fatto i calcoli a mano e corrispondono all'esempio, ma quando li ripeto in R, i coefficienti del modello sono disattivati. Ho pensato che la differenza potrebbe essere dovuta …

13 r regression self-study lm

2

Ipotesi di modello della regressione parziale dei minimi quadrati (PLS)

Sto cercando di trovare informazioni relative alle ipotesi di regressione di PLS (singola ). Sono particolarmente interessato a un confronto tra le ipotesi di PLS rispetto a quelle della regressione OLS. yyy Ho letto / sfogliato una grande quantità di letteratura sull'argomento PLS; articoli di Wold (Svante ed Herman), Abdi …

13 regression assumptions partial-least-squares

1

MLE del parametro location in una distribuzione di Cauchy

Dopo il centraggio, si può presumere che le due misurazioni x e -x siano osservazioni indipendenti da una distribuzione di Cauchy con funzione di densità di probabilità: f(x:θ)=f(x:θ)=f(x :\theta) = 1π(1+(x−θ)2)1π(1+(x−θ)2)1\over\pi (1+(x-\theta)^2) ,−∞<x<∞,−∞<x<∞, -∞ < x < ∞ Mostra che se x2≤1x2≤1x^2≤ 1 l'MLE di θθ\theta è 0, ma se …

13 self-study distributions maximum-likelihood cauchy

1

Perché usare il bootstrap parametrico?

Attualmente sto cercando di capire meglio alcune cose riguardanti il bootstrap parametrico. La maggior parte delle cose sono probabilmente banali, ma penso ancora che potrei essermi perso qualcosa. Supponiamo che io voglia ottenere intervalli di confidenza per i dati usando una procedura di bootstrap parametrica. Quindi ho questo campione e …

13 nonparametric bootstrap simulation monte-carlo parametric