Statistiche e Big Data

3

Misura statistica per se un'immagine è costituita da regioni separate spazialmente connesse

Considera queste due immagini in scala di grigi: La prima immagine mostra un modello di fiume tortuoso. La seconda immagine mostra un rumore casuale. Sto cercando una misura statistica che posso usare per determinare se è probabile che un'immagine mostri un modello di fiume. L'immagine del fiume ha due aree: …

14 variance spatial pattern-recognition

1

Modellazione lineare ad effetti misti con dati di studio gemellati

Supponiamo di avere una certa certa variabile di risposta yijyijy_{ij} che è stato misurato da jjj esima sibling iii esima famiglia. Inoltre, alcuni dati comportamentali xijxijx_{ij} sono stati raccolti contemporaneamente da ciascun soggetto. Sto cercando di analizzare la situazione con il seguente modello lineare a effetti misti: yij=α0+α1xij+δ1ixij+εijyij=α0+α1xij+δ1ixij+εijy_{ij} = \alpha_0 …

14 mixed-model lme4-nlme covariance-matrix non-independent

2

Spiegare la regressione quantile ai non statisti

Di recente ho presentato un articolo in cui ho usato la regressione quantile a un giornale di psicologia. Sebbene pensassi di aver già pensato abbastanza in una chiara esposizione della regressione quantile, i revisori hanno chiesto spiegazioni migliori sulla tecnica di regressione quantile conoscendo solo la regressione OLS standard. Quindi, …

14 quantile-regression teaching

1

Cosa significano le frecce in un biplot PCA?

Considera il seguente biplot PCA: library(mvtnorm) set.seed(1) x <- rmvnorm(2000, rep(0, 6), diag(c(5, rep(1,5)))) x <- scale(x, center=T, scale=F) pc <- princomp(x) biplot(pc) Ci sono un sacco di frecce rosse tracciate, cosa significano? Sapevo che la prima freccia etichettata con "Var1" dovrebbe indicare la direzione più variabile del set di …

14 r pca linear-algebra biplot

2

Discesa gradiente vs funzione lm () in R?

Sto esaminando i video del corso di apprendimento automatico online di Andrew Ng a Stanford. Discute Gradient Descent come un algoritmo per risolvere la regressione lineare e scrivere funzioni in Octave per eseguirlo. Presumibilmente potrei riscrivere quelle funzioni in R, ma la mia domanda è: la funzione lm () non …

14 r regression machine-learning gradient-descent

4

Verifica se il miglioramento della precisione è significativo

Supponiamo che io abbia un algoritmo che classifica le cose in due categorie. Posso misurare l'accuratezza dell'algoritmo dicendo 1000 test - supponiamo che l'80% degli oggetti sia classificato correttamente. Supponiamo che modifichi l'algoritmo in qualche modo in modo che l'81% delle cose sia classificato correttamente. Le statistiche possono dirmi se …

14 statistical-significance classification

9

Riferimento con distribuzioni con varie proprietà

Mi trovo spesso a porre domande del tipo: "So che questa variabile trova in e la maggior parte della massa si trova in e quindi diminuisce continuamente verso 1. Quale distribuzione posso usare per modellarla? "( 0 , 1 ) ( 0 , .20 )xxx(0,1)(0,1)(0,1)(0,.20)(0,.20)(0,.20) In pratica, finisco per usare …

14 distributions references

4

Che cos'è la casualità?

Nella probabilità e nelle statistiche, il concetto di "casuale" e "casualità" sono frequentemente utilizzati. Spesso il concetto di una variabile casuale viene utilizzato per modellare eventi che si verificano a causa del caso. La mia domanda riguarda il termine "casuale". Cosa è casuale? La casualità esiste davvero? Sono curioso di …

14 interpretation terminology

3

Teorema del limite centrale contro la legge di grandi numeri

Il teorema del limite centrale afferma che la media delle variabili iid, come NNN va all'infinito, viene normalmente distribuita. Ciò solleva due domande: Possiamo dedurre da ciò la legge dei grandi numeri? Se la legge dei grandi numeri dice che la media di un campione dei valori di una variabile …

14 probability central-limit-theorem law-of-large-numbers

4

Stima del punto di rottura in un modello lineare spezzato / a tratti con effetti casuali in R [codice e output inclusi]

Qualcuno può dirmi come fare in modo che R valuti il punto di interruzione in un modello lineare a tratti (come parametro fisso o casuale), quando devo anche stimare altri effetti casuali? Di seguito ho incluso un esempio di giocattolo che si adatta a una regressione di un bastone da …

14 r mixed-model lme4-nlme change-point piecewise-linear

8

Come eseguire la regressione lineare a tratti con più nodi sconosciuti?

Esistono pacchetti per eseguire una regressione lineare a tratti, in grado di rilevare automaticamente i nodi multipli? Grazie. Quando uso il pacchetto strucchange. Non sono riuscito a rilevare i punti di cambiamento. Non ho idea di come rilevi i punti di cambiamento. Dalle trame, ho visto che ci sono diversi …

14 regression change-point

4

Come iniziare a leggere sul data mining?

Sono un principiante che inizierà a leggere sul data mining. Ho una conoscenza di base di AI e statistiche. Dato che molti affermano che l'apprendimento automatico svolge un ruolo importante anche nel data mining, è necessario leggere l'apprendimento automatico prima di poter continuare con il data mining?

14 machine-learning references data-mining

4

k-significa implementazione con matrice di distanza personalizzata in input

Qualcuno può indicarmi un'implementazione di k-mean (sarebbe meglio se in MATLAB) che può prendere la matrice di distanza in input? L'implementazione di matlab standard richiede la matrice di osservazione in input e non è possibile modificare in modo personalizzato la misura della somiglianza.

14 clustering matlab k-means

3

Come calcolare la probabilità associata a punteggi Z assurdamente grandi?

I pacchetti software per il rilevamento di motivi di rete possono restituire punteggi Z estremamente alti (il più alto che ho visto è 600.000+, ma punteggi Z più di 100 sono abbastanza comuni). Ho intenzione di dimostrare che questi punteggi Z sono falsi. Enormi punteggi Z corrispondono a probabilità associate …

14 probability normal-distribution p-value approximation z-statistic

1

Perché i legami sono così difficili nelle statistiche non parametriche?

Il mio testo non parametrico , Statistiche pratiche non parametriche , spesso fornisce formule chiare per aspettative, scostamenti, statistiche dei test e simili, ma include l'avvertenza che questo funziona solo se ignoriamo i legami. Quando si calcola la statistica U di Mann-Whitney, si consiglia di eliminare le coppie legate quando …

14 nonparametric ties