Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

1
simulazione di campioni casuali con un dato MLE
Questa domanda con convalida incrociata che chiedeva di simulare un campione subordinato a una somma fissa mi ha ricordato un problema che mi è stato posto da George Casella . f(x|θ)f(x|θ)f(x|\theta)(X1,…,Xn)(X1,…,Xn)(X_1,\ldots,X_n)θθ\thetaθ^(x1,…,xn)=argmin∑i=1nlogf(xi|θ)θ^(x1,…,xn)=arg⁡min∑i=1nlog⁡f(xi|θ)\hat{\theta}(x_1,\ldots,x_n)=\arg\min \sum_{i=1}^n \log f(x_i|\theta)θθ\theta θ (X1,...,Xn)(X1,…,Xn)(X1,…,Xn)(X_1,\ldots,X_n)θ^(X1,…,Xn)θ^(X1,…,Xn)\hat{\theta}(X_1,\ldots,X_n) Ad esempio, prendi una distribuzione , con parametro di posizione , la cui densità …
1
Qual è la dimensione VC di un albero decisionale?
Qual è la dimensione VC di un albero decisionale con k si divide in due dimensioni? Diciamo che il modello è CART e le uniche divisioni consentite sono parallele agli assi. Quindi per una divisione possiamo ordinare 3 punti in un triangolo e quindi per qualsiasi etichettatura dei punti potremmo …
1
BIC cerca di trovare un modello vero?
Questa domanda è un seguito o un tentativo di chiarire la possibile confusione riguardo a un argomento che io e molti altri riscontriamo un po 'difficile, per quanto riguarda la differenza tra AIC e BIC. In una bella risposta di @Dave Kellen su questo argomento ( /stats//a/767/30589 ) leggiamo: La …
5
Comprensione delle funzionalità più importanti per la regressione logistica
Ho creato un classificatore di regressione logistica che è molto preciso sui miei dati. Ora voglio capire meglio perché funziona così bene. In particolare, vorrei classificare quali caratteristiche stanno apportando il contributo maggiore (quali sono le funzioni più importanti) e, idealmente, quantificare quanto ciascuna funzionalità contribuisce alla precisione del modello …
1
Aggiornamento della decomposizione SVD dopo aver aggiunto una nuova riga alla matrice
Supponiamo di avere una matrice densa di dimensioni , con decomposizione SVDIn posso calcolare la SVD come segue: .AA \textbf{A}m×nm×nm \times nA=USV⊤.A=USV⊤.\mathbf{A}=\mathbf{USV}^\top.Rsvd(A) Se una nuova riga viene aggiunta a , si può calcolare la nuova decomposizione SVD sulla base di quella vecchia (cioè usando , e ), senza ricalcolare SVD …
2
Un problema di stima impossibile?
Domanda La varianza di una distribuzione binomiale negativa (NB) è sempre maggiore della sua media. Quando la media di un campione è maggiore della sua varianza, il tentativo di adattare i parametri di un NB con la massima probabilità o con la stima del momento fallirà (non esiste una soluzione …
3
Quale algoritmo di ottimizzazione viene utilizzato nella funzione glm in R?
È possibile eseguire una regressione del log in R utilizzando tale codice: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Sembra che l'algoritmo di ottimizzazione sia converto - ci sono informazioni sul numero di passaggi dell'algoritmo di punteggio …
2
Perché il CDF di un campione è distribuito uniformemente
Ho letto qui che, dato un campione da una distribuzione continua con cdf F X , il campione corrispondente a U i = F X ( X i ) segue una distribuzione uniforme standard.X1,X2,...,XnX1,X2,...,Xn X_1,X_2,...,X_n FXFX F_X Ui=FX(Xi)Ui=FX(Xi) U_i = F_X(X_i) Ho verificato questo usando simulazioni qualitative in Python e …
17 pdf  uniform  cdf  intuition 
2
Clustering - Intuizione dietro il teorema dell'impossibilità di Kleinberg
Ho pensato di scrivere un post sul blog su questa interessante analisi di Kleinberg (2002) che esplora la difficoltà del clustering. Kleinberg delinea tre desideri apparentemente intuitivi per una funzione di raggruppamento e quindi dimostra che tale funzione non esiste. Esistono molti algoritmi di clustering che soddisfano due dei tre …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.