Statistiche e Big Data

3

Stimare la dimensione di una popolazione campionata dal numero di osservazioni ripetute

Supponiamo che io abbia una popolazione di 50 milioni di cose uniche e prendo 10 milioni di campioni (con sostituzione) ... Il primo grafico che ho allegato mostra quante volte campiono la stessa "cosa", che è relativamente raro come la popolazione è più grande del mio campione. Tuttavia, se la …

13 r sampling expectation-maximization

3

Come simulare un'analisi di potenza personalizzata di un modello lm (usando R)

A seguito delle recenti domande che abbiamo avuto qui . Stavo saltando per sapere se qualcuno si fosse imbattuto o fosse in grado di condividere il codice R per eseguire un'analisi di potenza personalizzata basata sulla simulazione di un modello lineare? Successivamente, ovviamente, vorrei estenderlo a modelli più complessi, ma …

13 r power power-analysis

4

Come riassumere i dati categorici?

Ho avuto problemi con il seguente problema, si spera sia facile per gli statistici (sono un programmatore con una certa esposizione alle statistiche). Devo riassumere le risposte a un sondaggio (per la gestione). Il sondaggio ha più di 100 domande, raggruppate in diverse aree (con circa 5-10 domande per area). …

13 categorical-data data-transformation descriptive-statistics

1

Test di due campioni indipendenti per null dello stesso skew?

Quali test sono disponibili per testare due campioni indipendenti per l'ipotesi nulla che provengano da popolazioni con la stessa inclinazione? Esiste un classico test a 1 campione per stabilire se l'inclinazione è uguale a un numero fisso (il test prevede il sesto momento del campione!); esiste una traduzione semplice per …

13 hypothesis-testing distributions bootstrap moments l-moments

3

Usare la geometria dell'informazione per definire distanze e volumi ... utile?

Mi sono imbattuto in un ampio corpus di pubblicazioni che sostengono l'uso della metrica Information di Fisher come metrica locale naturale nello spazio delle distribuzioni di probabilità e quindi l'integrazione su di essa per definire distanze e volumi. Ma queste quantità "integrate" sono effettivamente utili per qualcosa? Non ho trovato …

13 model-selection information-geometry

3

Esprimi le risposte in termini di unità originali, in dati trasformati Box-Cox

Per alcune misurazioni, i risultati di un'analisi sono presentati in modo appropriato sulla scala trasformata. Nella maggior parte dei casi, tuttavia, è auspicabile presentare i risultati sulla scala di misurazione originale (altrimenti il lavoro è più o meno senza valore). Ad esempio, nel caso di dati trasformati in log, si …

13 data-transformation confidence-interval t-test interpretation

5

Elaborazione / interpretazione cognitiva delle tecniche di visualizzazione dei dati

Qualcuno conosce la ricerca che indaga l'efficacia (comprensibilità?) Delle diverse tecniche di visualizzazione? Ad esempio, quanto velocemente le persone comprendono una forma di visualizzazione rispetto a un'altra? L'interattività con la visualizzazione aiuta le persone a ricordare i dati? Qualunque cosa del genere. Un esempio di visualizzazioni potrebbe essere: grafici a …

13 data-visualization communication

4

Software di anonimizzazione dei dati

Bloccato . Questa domanda e le sue risposte sono bloccate perché la domanda è fuori tema ma ha un significato storico. Al momento non accetta nuove risposte o interazioni. Qualcuno è a conoscenza di un buon software di anonimizzazione dei dati? O forse un pacchetto per R che rende l'anonimizzazione …

13 software

3

Modelli di effetti misti lineari

Ho comunemente sentito che i modelli LME sono più solidi nell'analisi dei dati di accuratezza (cioè, negli esperimenti di psicologia), in quanto possono lavorare con binomiali e altre distribuzioni non normali che gli approcci tradizionali (ad es. ANOVA) non possono. Quali sono le basi matematiche dei modelli LME che consentono …

13 mixed-model

1

Intuizione per momenti più alti nelle statistiche circolari

Nelle statistiche circolari, il valore di aspettativa di una variabile casuale con valori sul cerchio S è definito come m 1 ( Z ) = ∫ S z P Z ( θ ) d θ (vedi Wikipedia ). Questa è una definizione molto naturale, così come la definizione della varianza …

13 mathematical-statistics moments intuition circular-statistics

5

Riduzione della dimensionalità SVD per serie storiche di diversa lunghezza

Sto usando la decomposizione del valore singolare come tecnica di riduzione della dimensionalità. Dati i Nvettori di dimensione D, l'idea è quella di rappresentare le caratteristiche in uno spazio trasformato di dimensioni non correlate, che condensa la maggior parte delle informazioni dei dati negli autovettori di questo spazio in ordine …

13 time-series machine-learning pca data-transformation multivariate-analysis

4

Separare due popolazioni dal campione

Sto cercando di separare due gruppi di valori da un singolo set di dati. Posso presumere che una delle popolazioni sia normalmente distribuita e abbia almeno la metà della dimensione del campione. I valori del secondo sono entrambi inferiori o superiori ai valori del primo (la distribuzione è sconosciuta). Quello …

13 dataset outliers expectation-maximization

5

Quando utilizzare più modelli per la previsione?

Questa è una domanda abbastanza generica: In genere ho scoperto che l'utilizzo di più modelli diversi supera un modello quando si tenta di prevedere una serie temporale fuori campione. Esistono buoni documenti che dimostrano che la combinazione di modelli supererà un singolo modello? Esistono best practice in merito alla combinazione …

13 time-series modeling model-comparison

2

Utilizzo dell'analisi delle serie storiche per analizzare / prevedere comportamenti violenti

Questa è una domanda un po 'irriverente, ma ho un serio interesse per la risposta. Lavoro in un ospedale psichiatrico e ho tre anni di dati, raccolti ogni giorno in ogni reparto riguardo al livello di violenza in quel reparto. Chiaramente il modello che si adatta a questi dati è …

13 time-series forecasting

2

La famiglia di GLM rappresenta la distribuzione della variabile di risposta o dei residui?

Ne ho discusso con diversi membri del laboratorio su questo, e siamo andati a diverse fonti, ma ancora non ho la risposta: Quando diciamo che un GLM ha una famiglia di poisson , diciamo che stiamo parlando della distribuzione dei residui o della variabile di risposta? Punti di contesa Leggendo …

13 generalized-linear-model residuals assumptions