Statistiche e Big Data

2

Probabilità di cinque bambini della stessa classe con lo stesso nome

Sui forum sui nomi dei bambini, i futuri genitori ripetono continuamente una versione della loro Paura di Jennifer: "Non voglio che mio figlio sia uno dei 5 nella sua classe con il suo nome". Il fatto è che nessun nome si avvicina più a quel tipo di popolarità, e anche …

10 probability combinatorics

3

Perché la stima CV dell'errore di test sottostima l'errore di test effettivo?

Sono consapevole del fatto che la stima della convalida incrociata k-fold dell'errore del test di solito sottovaluta l'errore effettivo del test. Sono confuso perché questo è il caso. Capisco perché l'errore di addestramento è generalmente inferiore all'errore di test - perché stai allenando il modello sugli stessi dati su cui …

10 cross-validation bias

2

Aspettativa di

Lascia che X1X1X_1 , X2X2X_2 , ⋯⋯\cdots , Xd∼N(0,1)Xd∼N(0,1)X_d \sim \mathcal{N}(0, 1) e siano indipendenti. Qual è l'aspettativa di X41(X21+⋯+X2d)2X14(X12+⋯+Xd2)2\frac{X_1^4}{(X_1^2 + \cdots + X_d^2)^2} ? È facile trovare E(X21X21+⋯+X2d)=1dE(X12X12+⋯+Xd2)=1d\mathbb{E}\left(\frac{X_1^2}{X_1^2 + \cdots + X_d^2}\right) = \frac{1}{d} per simmetria. Ma non so come trovare le aspettative di X41(X21+⋯+X2d)2X14(X12+⋯+Xd2)2\frac{X_1^4}{(X_1^2 + \cdots + X_d^2)^2} …

10 probability self-study normal-distribution chi-squared expected-value

5

Perché il punteggio f beta definisce la beta in questo modo?

Questo è il punteggio F beta: Fβ= ( 1 + β2) ⋅ p r e c i s i o n ⋅ r e c a l l( β2⋅ p r e c i s i o n ) + r e c a l lFβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallF_\beta = (1 + \beta^2) …

10 machine-learning precision-recall model-evaluation

2

Prerequisiti matematici e statistici per comprendere i filtri antiparticolato?

Attualmente sto cercando di capire i filtri antiparticolato e i loro possibili usi in ambito finanziario e sto lottando parecchio. Quali sono i prerequisiti matematici e statistici che dovrei rivisitare (provenienti da un background nella finanza quantitativa) al fine di (i) rendere accessibili le basi dei filtri antiparticolato e (ii) …

10 time-series particle-filter

1

Valore atteso del rapporto massimo di n le variabili normali

Supponiamo sono IID da e lasciare denota l' i 'esimo elemento più piccolo da X_1, ..., X_n . Come si sarebbe in grado di superare il massimo previsto del rapporto tra due elementi consecutivi in X _ {(i)} ? Cioè, come è possibile calcolare un limite superiore su: N ( …

10 expected-value order-statistics ratio maximum

1

Mostra stima converge in percentile attraverso le statistiche degli ordini

Sia una sequenza di variabili casuali iid campionate da una distribuzione stabile alfa , con parametri α = 1,5 ,X1, X2, ... , X3 nX1,X2,…,X3nX_1, X_2, \ldots, X_{3n} .α = 1,5 ,β= 0 ,c = 1.0 ,μ = 1,0α=1.5,β=0,c=1.0,μ=1.0\alpha = 1.5, \; \beta = 0, \; c = 1.0, \; …

10 probability self-study monte-carlo convergence order-statistics

6

Come possiamo mai conoscere la varianza della popolazione?

Nel test di ipotesi, una domanda comune è qual è la varianza della popolazione? La mia domanda è: come possiamo mai conoscere la varianza della popolazione? Se conoscessimo l'intera distribuzione, potremmo anche conoscere la media dell'intera popolazione. Allora qual è il punto di verifica delle ipotesi?

10 hypothesis-testing variance t-test z-test

1

Perché i valori di p cambiano di significato quando si cambia l'ordine delle covariate nel modello aov?

Ho un set di dati di 482 osservazioni. data=Populationfull Ho intenzione di fare un'analisi dell'associazione genotipo per 3 SNP. Sto cercando di costruire un modello per la mia analisi e sto usando aov (y ~ x, data = ...). Per un tratto ho diversi effetti fissi e covariate che ho …

10 r anova

3

È possibile formare una rete neurale per disegnare un'immagine in un certo stile?

È possibile formare una rete neurale per disegnare un'immagine in un certo stile? (Quindi prende un'immagine e la ridisegna in uno stile per cui è stata addestrata.) Esiste una tecnologia approvata per questo genere di cose? Conosco l'algoritmo DeepArt. È utile riempire l'immagine principale con un certo motivo (ad esempio …

10 machine-learning neural-networks deep-learning

2

Utilizzo di LASSO solo per la selezione delle funzioni

Nel mio corso di apprendimento automatico, abbiamo appreso come la regressione di LASSO è molto efficace nell'esecuzione della selezione delle funzionalità, poiché utilizza la regolarizzazione .l1l1l_1 La mia domanda: le persone usano normalmente il modello LASSO solo per fare la selezione delle funzioni (e quindi procedono a scaricare quelle caratteristiche …

10 feature-selection lasso regression-strategies

5

Come testare un effetto di interazione con un test non parametrico (ad esempio un test di permutazione)?

Ho due variabili categoriali / nominali. Ognuno di loro può assumere solo due valori distinti (quindi, ho 4 combinazioni in totale). Ogni combinazione di valori viene fornita con un set di valori numerici. Quindi, ho 4 serie di numeri. Per renderlo più concreto, diciamo che ho male / femalee young …

10 hypothesis-testing p-value nonparametric permutation-test

2

Divergenza di Kullback-Leibler per due campioni

Ho cercato di implementare una stima numerica della divergenza di Kullback-Leibler per due campioni. Per eseguire il debug dell'implementazione, estrarre i campioni da due distribuzioni normali e .N(0,1)N(0,1)\mathcal N (0,1)N(1,2)N(1,2)\mathcal N (1,2) Per una semplice stima ho generato due istogrammi e ho provato ad approssimare numericamente l'integrale. Mi sono bloccato …

10 estimation intuition kullback-leibler numerics

3

Esiste una formula per il calcolo della mediana?

Esiste un equivalente della formula media: mean=1N∑i=1NXimean=1N∑i=1NXi\begin{equation} \mathrm{mean} = \cfrac{1}{N} \sum_{i=1}^{N} X_i \end{equation} per mediana?

10 median definition

2

Regressione: perché testare la normalità dei residui complessivi, invece dei residui condizionati da ?

Comprendo che nella regressione lineare si presume che gli errori siano distribuiti normalmente, in base al valore previsto di y. Quindi consideriamo i residui come una sorta di proxy per gli errori. E 'spesso consigliato per generare output come questo: . Tuttavia, non capisco quale sia lo scopo di ottenere …

10 regression assumptions