Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

Distribuzione di valori estremi

Se un articolo segue la distribuzione normale, anche la media segue la distribuzione normale. Che dire di minimo e massimo?

12 normal-distribution order-statistics

Come utilizzare l'analisi dei componenti principali per selezionare le variabili per la regressione?

Attualmente sto utilizzando l'analisi dei componenti principali per selezionare le variabili da utilizzare nella modellazione. Al momento, eseguo le misurazioni A, B e C nei miei esperimenti - Quello che voglio davvero sapere è: posso fare meno misurazioni e interrompere la registrazione di C e o B per risparmiare tempo …

12 regression pca model-selection

Omoschedasticità condizionale vs eteroschedasticità

Da Econometrics , di Fumio Hayashi (Chpt 1): Homoskedasticity incondizionato: Il secondo momento dei termini di errore E (εᵢ²) è costante attraverso le osservazioni La forma funzionale E (εᵢ² | xi) è costante attraverso le osservazioni Homoskedasticity condizionale: Viene eliminata la restrizione secondo cui il secondo momento dei termini di …

12 regression econometrics heteroscedasticity assumptions

Trovare la precisione della stima della simulazione Monte Carlo

sfondo Sto progettando una simulazione Monte Carlo che combina i risultati di una serie di modelli e voglio essere sicuro che la simulazione mi consentirà di fare ragionevoli affermazioni sulla probabilità del risultato simulato e sulla precisione di tale stima della probabilità. La simulazione troverà la probabilità che una giuria …

12 confidence-interval monte-carlo standard-error simulation

Transizione dall'uso del software statistico alla comprensione delle equazioni matematiche?

Contesto: Sono uno studente di dottorato in psicologia. Come con molti dottorandi in psicologia, so come eseguire varie analisi statistiche utilizzando software statistico, fino a tecniche come PCA, alberi di classificazione e analisi dei cluster. Ma non è davvero soddisfacente perché anche se posso spiegare perché ho fatto un'analisi e …

12 references notation software

Test dell'equivalenza di modelli non nidificati

Diciamo che è una funzione lineare di xe un manichino d . La mia ipotesi è che d stessa è come un indice edonistica di un vettore di altre variabili, Z . Ho il supporto per questo in un M A N O V A di Z (cioè z 1 …

12 r hypothesis-testing regression model-selection

Correlazione di Pearson di insiemi di dati con possibilmente zero deviazione standard?

Sto riscontrando un problema nel calcolo del coefficiente di correlazione pearson dei set di dati con una deviazione standard eventualmente zero (ovvero tutti i dati hanno lo stesso valore). Supponiamo che io abbia i seguenti due set di dati: float x[] = {2, 2, 2, 3, 2}; float y[] = …

12 correlation

Test della differenza in AIC di due modelli non nidificati

Il punto centrale di AIC o di qualsiasi altro criterio di informazione è che meno è meglio. Quindi se ho due modelli M1: y = a0 + XA + e e M2: y = b0 + ZB + u, e se l'AIC del primo (A1) è inferiore a quello del …

12 regression aic

Modo appropriato per gestire una tabella di contingenza a 3 livelli

Ho una tabella di contingenza a tre livelli, con i dati di conteggio per diverse specie, la pianta ospite da cui sono state raccolte e se quella raccolta è avvenuta in una giornata piovosa (questo in realtà conta!). Usando R, i dati falsi potrebbero essere qualcosa del genere: count <- …

12 r categorical-data log-linear

Come campionare rapidamente X se exp (X) ~ Gamma?

Ho un semplice problema di campionamento, in cui il mio ciclo interno assomiglia a: v = sample_gamma(k, a) dove sample_gammacampioni dalla distribuzione Gamma per formare un campione di Dirichlet. Funziona bene, ma per alcuni valori di k / a, alcuni dei underflow di calcolo a valle. L'ho adattato per utilizzare …

12 sampling gamma-distribution

Errore generale di tipo I quando si verificano ripetutamente l'accumulazione di dati

Ho una domanda sui metodi sequenziali di gruppo . Secondo Wikipedia: In uno studio randomizzato con due gruppi di trattamento, il test sequenziale di gruppo classico viene utilizzato nel modo seguente: Se sono disponibili n soggetti in ciascun gruppo, viene condotta un'analisi intermedia sui 2n soggetti. L'analisi statistica viene eseguita …

12 multiple-comparisons clinical-trials type-i-and-ii-errors

Cosa dovrei sapere sulla progettazione di un buon algoritmo Monte Carlo ibrido / hamiltoniano?

Sto progettando un algoritmo di campionamento ibrido Monte Carlo per PyMC e sto cercando di renderlo il più semplice e generale possibile, quindi sto cercando buoni consigli sulla progettazione di un algoritmo HMC. Ho letto il capitolo del sondaggio di Radford e Beskos et. Il recente articolo di al. sull'ottimizzazione …

12 bayesian monte-carlo

GLM dopo la selezione o la regolarizzazione del modello

Vorrei porre questa domanda in due parti. Entrambi trattano un modello lineare generalizzato, ma il primo riguarda la selezione del modello e l'altro riguarda la regolarizzazione. Contesto: utilizzo modelli GLM (lineari, logistici, regressione gamma) sia per la previsione che per la descrizione. Quando mi riferisco alle " cose normali che …

12 regression model-selection regularization

Metodi statistici online e scalabili

Ciò è stato ispirato dalla regressione lineare online efficiente , che ho trovato molto interessante. Esistono testi o risorse dedicati al calcolo statistico su larga scala, mediante il quale il calcolo con insiemi di dati è troppo grande per adattarsi alla memoria principale e forse troppo vario per essere effettivamente …

12 online computing references

Quali sono i pacchetti di mining di testo per R e ci sono altri programmi di mining di testo open source?

Puoi consigliare un pacchetto di mining di testo in R che può essere utilizzato su grandi volumi di dati? In secondo luogo, è disponibile una GUI per i pacchetti di mining di testo in R? In terzo luogo, esiste un altro programma di estrazione del testo open source che è …

12 r text-mining

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.

Licensed under cc by-sa 3.0 with attribution required.