Statistiche e Big Data

Sia una sequenza di variabili casuali distribuite in modo indipendente e identico con la funzione di densità di probabilità; Mostra cheX1,X2,…X1,X2,…X_1,X_2,\ldotsf(x)={12x2e−x0if x>0;otherwise.f(x)={12x2e−xif x>0;0otherwise. f(x) = \left\{ \begin{array}{ll} \frac{1}{2}x^2 e^{-x} & \mbox{if $x>0$};\\ 0 & \mbox{otherwise}.\end{array} \right. limn→∞P[X1+X2+…+Xn≥3(n−n−−√)]≥12limn→∞P[X1+X2+…+Xn≥3(n−n)]≥12\lim_{n\to \infty} P[X_1+X_2+\ldots+X_n\ge 3(n-\sqrt{n})] \ge \frac{1}{2} Quello che ho tentato A prima vista ho …

11 probability  self-study 

Ho difficoltà a comprendere la forma dell'intervallo di confidenza di una regressione polinomiale. Ecco un esempio artificiale, . La figura a sinistra mostra l'UPV (varianza di previsione non graduata) e il grafico a destra mostra l'intervallo di confidenza e i punti (artificiali) misurati su X = 1,5, X = 2 …

11 regression  confidence-interval 

Gli stimatori di Bayes sono immuni da errori di selezione? La maggior parte degli articoli che discutono la stima in alta dimensione, ad esempio i dati dell'intera sequenza del genoma, solleveranno spesso il problema della distorsione della selezione. La distorsione della selezione deriva dal fatto che, sebbene abbiamo migliaia di …

11 bayesian  feature-selection  bias  unbiased-estimator  conjugate-prior 

Adaboost è un metodo di ensemble che combina molti studenti deboli per formare uno forte. Tutti gli esempi di adaboost che ho letto usano tronchi / alberi decisionali come discenti deboli. Posso usare diversi studenti deboli in adaboost? Ad esempio, come implementare adaboost (generalmente potenziando) per potenziare un modello di …

11 logistic  adaboost 

Chiuso . Questa domanda richiede dettagli o chiarezza . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiungi dettagli e chiarisci il problema modificando questo post . Chiuso 2 anni fa . Sto lavorando a un compito a casa in cui il mio professore vorrebbe che noi creassimo un …

11 self-study  multiple-regression  estimation  linear-model 

Sto cercando di avvolgere la testa attorno a questo problema. Un dado viene lanciato 100 volte. Qual è la probabilità che nessun volto appaia più di 20 volte? Il mio primo pensiero è stato quello di utilizzare la distribuzione binomiale P (x) = 1 - 6 cmf (100, 1/6, 20) …

11 probability  mathematical-statistics  binomial  dice 

Sto cercando di dimostrare l'affermazione: Se X∼N(0,σ21)X∼N(0,σ12)X\sim\mathcal{N}(0,\sigma_1^2) e sono variabili casuali indipendenti,Y∼N(0,σ22)Y∼N(0,σ22)Y\sim\mathcal{N}(0,\sigma_2^2) allora è anche una variabile casuale normale.XYX2+Y2√XYX2+Y2\frac{XY}{\sqrt{X^2+Y^2}} Per il caso speciale σ1=σ2=σσ1=σ2=σ\sigma_1=\sigma_2=\sigma (diciamo), abbiamo il risultato ben noto che XYX2+Y2√∼N(0,σ24)XYX2+Y2∼N(0,σ24)\frac{XY}{\sqrt{X^2+Y^2}}\sim\mathcal{N}\left(0,\frac{\sigma^2}{4}\right)ogni volta cheXXXeYYYsonovariabiliN(0,σ2)N(0,σ2)\mathcal{N}(0,\sigma^2). In effetti, è più generalmente noto cheXYX2+ Y2√, X2- Y22 X2+ Y2√XYX2+Y2,X2−Y22X2+Y2\frac{XY}{\sqrt{X^2+Y^2}},\frac{X^2-Y^2}{2\sqrt{X^2+Y^2}} sonoNindipendenti(0,σ2N( 0 , σ24)N(0,σ24)\mathcal{N}\left(0,\frac{\sigma^2}{4}\right)variabili. …

11 self-study  distributions  mathematical-statistics  normal-distribution  random-variable 

Supponi un file di dati con oltre 80 milioni di zeri e zero, generato casualmente. Da questo file, vogliamo creare un elenco di numeri decimali casuali. Questo è il piano per fare questa conversione. Dividi gli 80 milioni di cifre in gruppi di 4 cifre binarie. Converti ogni binario di …

11 monte-carlo  random-generation  randomness 

Per esempio, supponiamo che stiamo costruendo uno stimatore di età, basato sull'immagine di una persona. Di seguito abbiamo due persone in giacca e cravatta, ma la prima è chiaramente più giovane della seconda. (fonte: tinytux.com ) Ci sono molte caratteristiche che lo implicano, ad esempio la struttura del viso. Tuttavia …

11 neural-networks  computer-vision 

Questa domanda è ispirata dalla risposta di Martijn qui . Supponiamo di adattare un GLM per una famiglia a un parametro come un modello binomiale o di Poisson e che si tratti di una procedura di piena verosimiglianza (al contrario, quasipoisson). Quindi, la varianza è una funzione della media. Con …

11 regression  generalized-linear-model  inference  approximation  t-distribution 

Ho visto in alcuni punti l'uso del derivato Radon-Nikodym di una misura di probabilità rispetto a un'altra, in particolare nella divergenza di Kullback-Leibler, dove è la derivata della misura di probabilità di un modello per un parametro arbitrario rispetto al parametro reale :θ 0θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Dove si tratta di …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

Stavo guardando questo quaderno e sono perplesso da questa affermazione: Quando parliamo di normalità, intendiamo che i dati dovrebbero apparire come una normale distribuzione. Ciò è importante perché diversi test statistici si basano su questo (ad es. T-statistics). Non capisco perché una statistica T abbia bisogno che i dati seguano …

11 mathematical-statistics  normal-distribution 

Nelle impostazioni di regressione univariata, proviamo a modellare y= Xβ+ n o i s ey=Xβ+noisey = X\beta +noise dove un vettore di osservazioni e la matrice di progettazione con predittori. La soluzione è . n X ∈ R n × m m β 0 = ( X T X ) …

11 regression  multivariate-analysis  multivariate-regression 

Ho due regressioni della stessa Y e tre livelli X. Complessivamente n = 15, con n = 5 in ciascun gruppo o livello di X. La prima regressione considera la X come categoriale, assegnando le variabili indicatore ai livelli 2 e 3 con livello uno è il riferimento. Gli indicatori …

11 regression  anova 

Il titolo dice tutto. Comprendo che i minimi quadrati e la massima verosimiglianza daranno lo stesso risultato per i coefficienti di regressione se gli errori del modello sono normalmente distribuiti. Ma cosa succede se gli errori non vengono normalmente distribuiti? Perché i due metodi non sono più equivalenti?

11 regression  normal-distribution  maximum-likelihood  least-squares  error