Statistiche e Big Data

4

Perché non trasformare in log tutte le variabili che non sono di maggiore interesse?

Libri e discussioni spesso affermano che quando si affrontano problemi (di cui ce ne sono alcuni) con un predittore, la trasformazione del log è una possibilità. Ora, capisco che questo dipende dalle distribuzioni e la normalità nei predittori non è un'ipotesi di regressione; ma la trasformazione dei registri rende i …

10 regression data-transformation

3

Analisi delle serie storiche rispetto all'apprendimento automatico?

Solo una domanda generale. Se si dispone di dati sulle serie temporali, quando è meglio utilizzare le tecniche delle serie temporali (ovvero ARCH, GARCH, ecc.) Rispetto alle tecniche di apprendimento automatico / statistico (KNN, regressione)? Se c'è una domanda simile che esiste su crossvalidated, per favore indicami verso di esso …

10 time-series machine-learning

1

Previsione probabilistica casuale della foresta vs voto a maggioranza

Scikit Learn sembra usare la previsione probabilistica invece del voto della maggioranza per la tecnica di aggregazione del modello senza una spiegazione del perché (1.9.2.1. Foreste casuali). C'è una chiara spiegazione del perché? Inoltre, esiste un buon articolo o articolo di revisione per le varie tecniche di aggregazione dei modelli …

10 random-forest python scikit-learn aggregation bagging

2

L'output di Scikit SVM nella classificazione multiclasse fornisce sempre la stessa etichetta

Attualmente sto usando Scikit Learn con il seguente codice: clf = svm.SVC(C=1.0, tol=1e-10, cache_size=600, kernel='rbf', gamma=0.0, class_weight='auto') e quindi adattarsi e prevedere un set di dati con 7 etichette diverse. Ho ottenuto un risultato strano. Indipendentemente dalla tecnica di convalida incrociata che utilizzo l'etichetta prevista sul set di convalida sarà …

10 svm scikit-learn libsvm multi-class optunity

3

Come estrarre informazioni da una matrice scatterplot quando si hanno N grandi, dati discreti e molte variabili?

Sto giocando con il set di dati sul cancro al seno e ho creato un grafico a dispersione di tutti gli attributi per avere un'idea per quali di essi hanno il maggior effetto sulla previsione della classe malignant(blu) di benign(rosso). Capisco che la riga rappresenta l'asse x e la colonna …

10 r data-visualization interpretation scatterplot

1

bayesglm (arm) contro MCMCpack

Sia bayesglm()(nel pacchetto arm R) che varie funzioni nel pacchetto MCMCpack mirano a fare una stima bayesiana di modelli lineari generalizzati, ma non sono sicuro che stiano effettivamente calcolando la stessa cosa. Le funzioni MCMCpack utilizzano la catena Markov Monte Carlo per ottenere un campione (dipendente) dal posteriore comune per …

10 bayesian generalized-linear-model

1

Coerenza di 2SLS con variabile binaria endogena

Ho letto che lo stimatore 2SLS è ancora coerente anche con la variabile endogena binaria ( http://www.stata.com/statalist/archive/2004-07/msg00699.html ). Nella prima fase, verrà eseguito un modello di trattamento probit anziché un modello lineare. Esistono prove formali per dimostrare che 2SLS è ancora coerente anche quando il 1 ° stadio è un …

10 probit instrumental-variables endogeneity

2

Come determinare la previsibilità delle serie storiche?

Una delle questioni importanti che devono affrontare i meteorologi è se la serie data può essere prevista o no? Mi sono imbattuto in un articolo intitolato " Entropia come indicatore a priori della prevedibilità " di Peter Catt che utilizza l' entropia approssimata (ApEn) come misura relativa per determinare una …

10 time-series forecasting entropy maximum-entropy forecastability

2

Regressione con variabile indipendente inversa

Supponiamo che io abbia un -vettore di variabili dipendenti e un -vettore di variabile indipendente. Quando viene tracciato contro , vedo che esiste una relazione lineare (tendenza al rialzo) tra i due. Ora, anche questo significa che v'è una tendenza lineare ribasso tra e X .Y N X Y 1NNNYYYNNNXXXYYY …

10 regression data-transformation linear-model

1

Stima della massima verosimiglianza per il minimo delle distribuzioni esponenziali

Sono bloccato su come risolvere questo problema. Quindi, abbiamo due sequenze di variabili casuali, e per . Ora, e sono distribuzioni esponenziali indipendenti con parametri e . Tuttavia, invece di osservare e , osserviamo invece e .Y i i = 1 , . . . , n X Y λ …

10 self-study maximum-likelihood exponential minimum

1

Confuso sulla spiegazione visiva degli autovettori: come possono gli insiemi di dati visivamente diversi avere gli stessi autovettori?

Molti libri di testo statistici forniscono un'illustrazione intuitiva di ciò che sono gli autovettori di una matrice di covarianza: I vettori u e Z formano gli autovettori (bene, eigenaxes). Questo ha senso. Ma l'unica cosa che mi confonde è che estraiamo gli autovettori dalla matrice di correlazione , non dai …

10 correlation pca covariance-matrix eigenvalues

2

Diagnostica residua e omogeneità delle varianze nel modello misto lineare

Prima di porre questa domanda, ho cercato nel nostro sito e ho trovato molte domande simili (come qui , qui e qui ). Ma ritengo che quelle domande correlate non abbiano avuto una risposta o una discussione, quindi vorrei sollevare di nuovo questa domanda. Penso che dovrebbe esserci un grande …

10 mixed-model residuals heteroscedasticity diagnostic

3

K-significa sulle somiglianze del coseno rispetto alla distanza euclidea (LSA)

Sto usando l'analisi semantica latente per rappresentare un corpus di documenti nello spazio dimensionale inferiore. Voglio raggruppare questi documenti in due gruppi usando k-mean. Diversi anni fa, l'ho fatto usando il gensim di Python e scrivendo il mio algoritmo k-mean. Ho determinato i centroidi del cluster usando la distanza euclidea, …

10 k-means svd lsa cosine-distance cosine-similarity

1

Coefficiente di correlazione intraclasse nel modello misto con pendenze casuali

Ho il seguente modello m_plotdotato di lme4::lmereffetti casuali incrociati per partecipanti ( lfdn) e oggetti ( content): Random effects: Groups Name Variance Std.Dev. Corr lfdn (Intercept) 172.173 13.121 role1 62.351 7.896 0.03 inference1 24.640 4.964 0.08 -0.30 inference2 52.366 7.236 -0.05 0.17 -0.83 inference3 21.295 4.615 -0.03 0.22 0.86 -0.77 …

10 mixed-model lme4-nlme intraclass-correlation

2

Esempio di due variabili normali * correlate * la cui somma non è normale

Sono a conoscenza di alcuni begli esempi di coppie di variabili casuali correlate che sono marginalmente normali ma non congiuntamente normali. Vedi questa risposta di Dilip Sarwate e questa del cardinale . Sono anche a conoscenza di un esempio di due variabili casuali normali la cui somma non è normale. …

10 correlation normal-distribution multivariate-analysis bivariate