Statistiche e Big Data

2

Qual è la definizione di una "mappa caratteristica" (nota anche come "mappa di attivazione") in una rete neurale convoluzionale?

Sfondo introduttivo All'interno di una rete neurale convoluzionale, di solito abbiamo una struttura / flusso generale che assomiglia a questo: immagine di input (cioè un vettore 2D x) (Il 1 ° livello convoluzionale (Conv1) inizia qui ...) contorta una serie di filtri ( w1) lungo l'immagine 2D (ovvero z1 = …

32 neural-networks deep-learning conv-neural-network

6

Perché l'entropia è massimizzata quando la distribuzione di probabilità è uniforme?

So che l'entropia è la misura della casualità di un processo / variabile e può essere definita come segue. per una variabile casuale set : - . Nel libro su Entropy and Information Theory di MacKay, fornisce questa affermazione in Ch2X∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) L'entropia è …

32 uniform entropy maximum-entropy

4

Come eseguire test t a due campioni in R immettendo statistiche campione anziché dati grezzi?

Diciamo che abbiamo le statistiche riportate di seguito gender mean sd n f 1.666667 0.5773503 3 m 4.500000 0.5773503 4 Come si esegue un test t a due campioni (per vedere se c'è una differenza significativa tra i mezzi di uomini e donne in alcune variabili) usando statistiche come questa …

32 r t-test

4

Come calcolare un livello di confidenza per una distribuzione di Poisson?

Vorrei sapere quanto posso essere fiducioso nel mio . Qualcuno sa come impostare i livelli di confidenza superiore e inferiore per una distribuzione di Poisson?λλ\lambda Osservazioni ( ) = 88nnn Media campionaria ( ) = 47.18182λλ\lambda come sarebbe la fiducia del 95% per questo?

32 poisson-distribution confidence-interval

1

Architetture della CNN per regressione?

Ho lavorato su un problema di regressione in cui l'input è un'immagine e l'etichetta ha un valore continuo tra 80 e 350. Le immagini sono di alcuni prodotti chimici dopo una reazione. Il colore che risulta indica la concentrazione di un'altra sostanza chimica rimasta, ed è quello che il modello …

32 regression machine-learning neural-networks conv-neural-network tensorflow

5

Comprensione delle unità LSTM rispetto alle celle

Ho studiato LSTM per un po '. Capisco ad alto livello come funziona tutto. Tuttavia, andando a implementarli usando Tensorflow, ho notato che BasicLSTMCell richiede un numero di unità (es. num_units) Parametro. Da questa spiegazione molto approfondita degli LSTM, ho scoperto che una singola unità LSTM è una delle seguenti …

32 neural-networks terminology lstm rnn tensorflow

9

Derivazione dell'equazione di Bellman nell'apprendimento per rinforzo

Vedo la seguente equazione in " In Reinforcement Learning. An Introduction ", ma non seguo del tutto il passaggio che ho evidenziato in blu di seguito. Come si deriva esattamente questo passaggio?

32 expected-value reinforcement-learning

1

Conseguenze della disuguaglianza di correlazione gaussiana per il calcolo degli intervalli di confidenza congiunti

Secondo questo articolo molto interessante su Quanta Magazine: "Una prova a lungo cercata, trovata e quasi persa" , - è stato dimostrato che dato un vettore con un multivariato Distribuzione gaussiana e dati intervalli centrati attorno alle medie dei componenti corrispondenti di , quindix=(x1,…,xn)x=(x1,…,xn)\mathbf{x}=(x_1,\dots,x_n)I1,…,InI1,…,InI_1,\dots,I_n xx\mathbf{x} p(x1∈I1,…,xn∈In)≥∏i=1np(xi∈Ii)p(x1∈I1,…,xn∈In)≥∏i=1np(xi∈Ii)p(x_1\in I_1, \dots, x_n\in I_n)\geq …

31 normal-distribution confidence-interval multivariate-normal

2

Esecuzione di un test statistico dopo aver visualizzato i dati - dragaggio dei dati?

Proporrò questa domanda per mezzo di un esempio. Supponiamo di avere un set di dati, come il set di dati sui prezzi delle case di Boston, in cui ho variabili continue e categoriche. Qui abbiamo una variabile di "qualità", da 1 a 10, e il prezzo di vendita. Posso separare …

31 hypothesis-testing data-visualization p-value dataset inference

4

Il risultato di un esame è un binomio?

Ecco una semplice domanda statistica che mi è stata data. Non sono proprio sicuro di capirlo. X = il numero di punti acquisiti in un esame (scelta multipla e una risposta corretta è un punto). Il binomio X è distribuito? La risposta del professore fu: Sì, perché ci sono solo …

31 self-study binomial

2

Regressione logistica: Scikit Learn vs Statsmodels

Sto cercando di capire perché l'output della regressione logistica di queste due librerie dia risultati diversi. Sto usando il set di dati da UCLA Idre esercitazione , predicendo admitbasa sulla gre, gpae rank. rankviene trattato come variabile categoriale, quindi viene prima convertito in variabile fittizia con rank_1eliminato. Viene inoltre aggiunta …

31 regression logistic python scikit-learn statsmodels

3

Raggruppare un lungo elenco di stringhe (parole) in gruppi di somiglianza

Ho a portata di mano il seguente problema: ho un lungo elenco di parole, possibilmente nomi, cognomi, ecc. Devo raggruppare questo elenco di parole, in modo che parole simili, ad esempio parole con una simile modifica (Levenshtein) compaiano nella stesso cluster. Ad esempio "algoritmo" e "alogritmo" dovrebbero avere alte probabilità …

31 clustering k-means pattern-recognition

5

Cosa dicono gli intervalli di confidenza sulla precisione (se non altro)?

Morey et al (2015) sostengono che gli intervalli di confidenza sono fuorvianti e ci sono molteplici preconcetti legati alla loro comprensione. Tra gli altri, descrivono l'errore di precisione come segue: L'errore di precisione L'ampiezza di un intervallo di confidenza indica la precisione della nostra conoscenza del parametro. Intervalli di confidenza …

31 bayesian confidence-interval frequentist precision

6

La parsimonia dovrebbe davvero essere ancora il gold standard?

Solo un pensiero: I modelli parsimoniosi sono sempre stati il punto di partenza predefinito nella selezione dei modelli, ma in che misura questo approccio è obsoleto? Sono curioso di sapere quanto la nostra tendenza alla parsimonia sia una reliquia di un tempo di regole abaci e slide (o, più seriamente, …

31 predictive-models model-selection model

4

Quali sono i meriti relativi dei dati Winsorizing vs. Trimming?

Winsorizing data significa sostituire i valori estremi di un set di dati con un certo valore percentile da ciascuna estremità, mentre il Trimming o Truncating comporta la rimozione di quei valori estremi. Vedo sempre entrambi i metodi discussi come un'opzione praticabile per ridurre l'effetto dei valori anomali quando si calcolano …

31 standard-deviation mean truncation trimmed-mean winsorizing