Statistiche e Big Data

4

Come creare una matrice di covarianza arbitraria

Ad esempio, in R, la MASS::mvrnorm()funzione è utile per generare dati per dimostrare varie cose nelle statistiche. Prende un Sigmaargomento obbligatorio che è una matrice simmetrica che specifica la matrice di covarianza delle variabili. Come potrei creare una matrice simmetrica con voci arbitrarie?n×nn×nn\times n

21 r random-generation covariance-matrix

5

Qual è il significato intuitivo di avere una relazione lineare tra i registri di due variabili?

Ho due variabili che non mostrano molta correlazione quando vengono tracciate una contro l'altra così com'è, ma una relazione lineare molto chiara quando tracciamo i log di ciascuna variabile di nuovo rispetto all'altra. Quindi finirei con un modello del tipo: log(Y)=alog(X)+blog⁡(Y)=alog⁡(X)+b\log(Y) = a \log(X) + b , che è ottimo …

20 regression correlation log

2

Qual è la differenza tra l'inizializzatore di ridimensionamento della varianza e l'inizializzatore di xavier?

Nell'implementazione di ResNet di Tensorflow , trovo che utilizzino l'inizializzatore di ridimensionamento della varianza, trovo anche che l'inizializzatore di xavier sia popolare. Non ho troppa esperienza su questo, che è meglio in pratica?

20 machine-learning neural-networks deep-learning conv-neural-network tensorflow

1

lme () e lmer () che danno risultati contrastanti

Ho lavorato con alcuni dati che hanno alcuni problemi con misurazioni ripetute. In tal modo ho notato un comportamento molto diverso tra lme()e lmer()utilizzando i miei dati di test e voglio sapere perché. Il set di dati falsi che ho creato ha misurazioni di altezza e peso per 10 soggetti, …

20 r mixed-model lme4-nlme

3

Trovare un modo per simulare numeri casuali per questa distribuzione

Sto cercando di scrivere un programma in R che simula numeri pseudo casuali da una distribuzione con la funzione di distribuzione cumulativa: F(x)=1−exp(−ax−bp+1xp+1),x≥0F(x)=1−exp⁡(−ax−bp+1xp+1),x≥0F(x)= 1-\exp \left(-ax-\frac{b}{p+1}x^{p+1}\right), \quad x \geq 0 dove a,b>0,p∈(0,1)a,b>0,p∈(0,1)a,b>0, p \in (0,1) Ho provato il campionamento della trasformata inversa ma l'inverso non sembra risolvibile dal punto di vista …

20 r random-generation

2

Perché la funzione softmax viene utilizzata per calcolare le probabilità sebbene possiamo dividere ciascun valore per la somma del vettore?

L'applicazione della funzione softmax su un vettore produrrà "probabilità" e valori compresi tra e . 000111 Ma possiamo anche dividere ogni valore per la somma del vettore e questo produrrà probabilità e valori tra e .000111 Ho letto la risposta qui, ma dice che il motivo è perché è differenziabile, …

20 machine-learning neural-networks softmax

2

FPR (tasso di falsi positivi) vs FDR (tasso di scoperta falsi)

La seguente citazione proviene dal famoso documento di ricerca Significato statistico per gli studi su tutto il genoma di Storey & Tibshirani (2003): Ad esempio, un tasso di falsi positivi del 5% significa che in media il 5% delle caratteristiche veramente nulle nello studio sarà chiamato significativo. Un FDR (False …

20 hypothesis-testing false-discovery-rate type-i-and-ii-errors confusion-matrix false-positive-rate

9

Overfitting e underfitting

Ho fatto alcune ricerche su overfitting e underfitting e ho capito esattamente cosa sono, ma non riesco a trovare le ragioni. Quali sono i motivi principali per eccesso e insufficiente? Perché affrontiamo questi due problemi nella formazione di un modello?

20 machine-learning dataset overfitting

4

Esempio di una distribuzione discreta non negativa in cui la media (o un altro momento) non esiste?

Stavo facendo un po 'di lavoro in Scipy e mi è venuta una conversazione con un membro del gruppo scipy principale se una variabile casuale discreta non negativa può avere un momento indefinito. Penso che abbia ragione, ma non ho una prova a portata di mano. Qualcuno può mostrare / …

20 mathematical-statistics expected-value

5

Un esempio in cui il principio di verosimiglianza * conta davvero *?

Esiste un esempio in cui due diversi test difendibili con probabilità proporzionali porterebbero a inferenze marcatamente diverse (e ugualmente difendibili), per esempio, dove i valori p sono di ordine di grandezza molto distanti, ma il potere delle alternative è simile? Tutti gli esempi che vedo sono molto sciocchi, confrontando un …

20 mathematical-statistics likelihood philosophical likelihood-principle

4

La probabilità di tutti i giorni è solo un modo di affrontare l'ignoto (qui non si parla di fisica quantistica)?

Sembra che nella probabilità quotidiana (non nella fisica quantistica), le probabilità siano in realtà solo un sostituto di uno sconosciuto. Prendi una moneta, ad esempio. Diciamo che è "casuale", un cambio di testa del 50% e una probabilità del 50% di code. Tuttavia, se conoscessi esattamente la densità, la dimensione …

20 probability philosophical

1

Regressione per variabili indipendenti categoriali e dipendente continuo

Ho appena capito che ho sempre lavorato al problema della regressione in cui le variabili indipendenti erano sempre numeriche. Posso usare la regressione lineare nel caso in cui tutte le variabili indipendenti siano categoriche?

20 regression categorical-data

3

Comprensione del parametro input_shape in LSTM con Keras

Sto cercando di usare l'esempio descritto nella documentazione di Keras denominata "Stacked LSTM per la classificazione delle sequenze" (vedere il codice seguente) e non riesco a capire il input_shapeparametro nel contesto dei miei dati. Ho come input una matrice di sequenze di 25 possibili caratteri codificati in numeri interi in …

20 lstm keras shape dimensions

4

Se vengono "pianificati" più confronti, è comunque necessario correggerli per più confronti?

Sto rivedendo un documento che ha eseguito> 15 test 2x2 Chi Square separati. Ho suggerito di dover correggere più confronti, ma hanno risposto affermando che tutti i confronti erano pianificati e quindi non è necessario. Penso che questo non debba essere corretto, ma non riesco a trovare risorse che affermino …

20 hypothesis-testing multiple-comparisons

1

Perché LASSO non trova la mia coppia predittiva perfetta ad alta dimensionalità?

Sto eseguendo un piccolo esperimento con la regressione di LASSO in R per testare se è in grado di trovare una coppia predittiva perfetta. La coppia è definita in questo modo: f1 + f2 = risultato Il risultato qui è un vettore predeterminato chiamato 'età'. F1 e f2 vengono creati …

20 r regression feature-selection lasso high-dimensional