Statistiche e Big Data

2

Come possiamo disegnare una curva ROC per gli alberi decisionali?

Normalmente non possiamo disegnare una curva ROC per i classificatori discreti come gli alberi delle decisioni. Ho ragione? Esiste un modo per disegnare una curva ROC per Dtrees?

13 roc cart

1

Comprensione del test Chi-quadrato e della distribuzione Chi-quadrato

Sto cercando di capire la logica dietro il test chi-quadrato. Il test Chi-quadrato è . χ2viene quindi confrontato con una distribuzione Chi-quadrata per scoprire un valore p al fine di respingere o meno l'ipotesi nulla. H0: le osservazioni provengono dalla distribuzione che abbiamo usato per creare i nostri valori previsti. …

13 probability distributions normal-distribution mathematical-statistics chi-squared

2

Stima online dei quartili senza memorizzare osservazioni

Devo calcolare i quartili (Q1, mediana e Q3) in tempo reale su un ampio set di dati senza memorizzare le osservazioni. Per prima cosa ho provato l'algoritmo P square (Jain / Chlamtac) ma non ero soddisfatto (un po 'troppo utilizzo della CPU e non convinto almeno dalla precisione sul mio …

13 quantiles median online

1

Come interpretare l'autocorrelazione

Ho calcolato l'autocorrelazione sui dati delle serie temporali sui modelli di movimento di un pesce in base alle sue posizioni: X ( x.ts) e Y ( y.ts). Usando R, ho eseguito le seguenti funzioni e prodotto i seguenti grafici: acf(x.ts,100) acf(y.ts,100) La mia domanda è: come interpretare queste trame? Quali …

13 r time-series autocorrelation

4

Un modello di regressione la cui variabile di risposta è il giorno dell'anno in cui si verifica (di solito) un evento annuale

In questo caso particolare mi riferisco al giorno in cui un lago si congela. Questa data di "congelamento" si verifica solo una volta all'anno, ma a volte non si verifica affatto (se l'inverno è caldo). Quindi un anno il lago potrebbe congelare il giorno 20 (20 gennaio) e un altro …

13 regression time-series survival data-transformation recurrent-events

2

Osserva k teste da n lanci. La moneta è giusta?

Mi è stata posta questa domanda con in un'intervista. C'è una risposta "corretta"?(n,k)=(400,220)(n,k)=(400,220)(n, k) = (400, 220) Supponiamo che i tiri siano iid e la probabilità di testa sia . La distribuzione del numero di teste in 400 lanci dovrebbe quindi essere vicina alla Normale (200, 10 ^ 2), in …

13 probability hypothesis-testing self-study prior

2

Utilizzo di BIC per stimare il numero di k in KMEANS

Attualmente sto provando a calcolare il BIC per il mio set di dati giocattolo (ofc iris (:). Voglio riprodurre i risultati come mostrato qui (Fig. 5). Quel documento è anche la mia fonte per le formule BIC. Ho 2 problemi con questo: Notazione: nionin_i = numero di elementi nel clusterioii …

13 python k-means scikit-learn bic

4

Cosa fai quando non c'è un punto a gomito per il raggruppamento dei kmean

Ho imparato che quando si sceglie un numero di cluster, si dovrebbe cercare un punto a gomito per diversi valori di K. Ho tracciato i valori di withinss per valori di k da 1 a 10, ma non vedo un chiaro gomito. Cosa fai in un caso come questo?

13 clustering k-means

1

Alla ricerca di una comprensione teorica della regressione logistica Firth

Sto cercando di capire la regressione logistica Firth (metodo di gestione della separazione perfetta / completa o quasi completa nella regressione logistica) in modo da poterlo spiegare ad altri in termini semplificati. Qualcuno ha una spiegazione minuziosa di quale modifica sta effettuando la stima Firth a MLE? Ho letto, per …

13 logistic maximum-likelihood separation

1

Utilizzo delle informazioni reciproche per stimare la correlazione tra una variabile continua e una variabile categoriale

Per quanto riguarda il titolo, l'idea è quella di utilizzare le informazioni reciproche, qui e dopo MI, per stimare la "correlazione" (definita come "quanto so di A quando conosco B") tra una variabile continua e una variabile categoriale. Ti racconterò i miei pensieri sull'argomento tra un momento, ma prima di …

13 correlation information-theory mutual-information

1

Spiegare i passaggi dell'algoritmo LLE (local linear embedding)?

Comprendo che il principio di base dietro l'algoritmo per LLE consiste in tre passaggi. Individuazione del vicinato di ciascun punto dati mediante una metrica come k-nn. Trova pesi per ciascun vicino che denotano l'effetto che il vicino ha sul punto dati. Costruire l'incorporamento a bassa dimensione dei dati in base …

13 machine-learning model-selection feature-selection dimensionality-reduction nonlinear

3

Formattazione dei grafici: quando è appropriato utilizzare un riempimento sotto un grafico a linee?

Questa è una domanda per la visualizzazione dei dati - spero che vada bene chiederlo qui. Quando è appropriato usare un riempimento sotto un grafico a linee per una serie temporale, come il grafico qui sotto? (che mostra i tempi di ping nell'arco di un giorno) Immagino sia più comune …

13 data-visualization

4

I bordi nel grafico aciclico diretto rappresentano la causalità?

Sto studiando Probabilistic Graphical Models , un libro per l'autoapprendimento. I bordi in un grafico aciclico diretto (DAG) rappresentano le relazioni causali? E se volessi costruire una rete bayesiana , ma non sono sicuro della direzione delle frecce al suo interno? Tutti i dati che mi diranno sono le correlazioni …

13 causality graphical-model bayesian-network dag

5

Imputazione multipla per valori mancanti

Vorrei usare l'imputazione per sostituire i valori mancanti nel mio set di dati con determinati vincoli. Ad esempio, vorrei che la variabile imputata x1fosse maggiore o uguale alla somma delle mie altre due variabili, diciamo x2e x3. Voglio anche x3essere imputato da uno 0o >= 14e voglio x2essere imputato da …

13 r spss missing-data multiple-imputation

1

Gamma GLM log-linked vs GLM gaussiano log-linked vs LM trasformato in log

Dai miei risultati, sembra che GLM Gamma soddisfi la maggior parte delle ipotesi, ma è un miglioramento utile rispetto alla LM trasformata in tronchi? La maggior parte della letteratura che ho trovato accordi con Poisson o Binomial GLMs. Ho trovato l'articolo VALUTAZIONE DELLE ASSUNZIONI DEL MODELLO LINEARE GENERALIZZATO MEDIANTE LA …

13 r generalized-linear-model model-selection gamma-distribution