Statistiche e Big Data

2

Perdita logistica multinomiale vs (Cross Entropy vs Square Error)

Ho osservato che Caffe (un framework di apprendimento profondo) utilizzava lo strato di perdita di Softmax SoftmaxWithLoss come strato di output per la maggior parte dei campioni di modello . Per quanto ne so, il livello Softmax Loss è la combinazione di Multinomial Logistic Loss Layer e Softmax Layer . …

9 multinomial entropy sums-of-squares softmax

1

Perché aggiungerne uno nella frequenza inversa del documento?

Il mio libro di testo elenca l'idf come doveL o g( 1 + Nnt)log(1+Nnt)log(1+\frac{N}{n_t}) NNN : numero di documenti ntntn_t : numero di documenti contenenti il terminettt Wikipedia elenca questa formula come una versione liscia del effettivo . Quello che ho capito: varia da a che sembra intuitivo. Ma passa …

9 text-mining natural-language smoothing

1

È tutto in famiglia; ma includiamo anche i suoceri?

Supponiamo di avere un esperimento con due o più fattori. Viene costruito un ANOVA generale, e quindi seguiamo due o più serie di test post hoc , diciamo confronti multipli. La mia domanda è su quanto grandi --- e quante --- famiglie dovrebbero essere usate come base per aggiustamenti di …

9 multiple-comparisons post-hoc

2

Cosa sono VectorSource e VCorpus nel pacchetto 'tm' (Text Mining) in R

Non sono sicuro di cosa siano esattamente VectorSource e VCorpus nel pacchetto 'tm'. La documentazione non è chiara su questi, qualcuno può farmi capire in termini semplici?

9 r text-mining

1

Quando i modelli lineari impropri diventano belli in modo robusto?

Domande: I modelli lineari impropri sono usati nella pratica o sono qualche tipo di curiosità descritta di volta in volta nelle riviste scientifiche? In tal caso, in quali settori vengono utilizzati? Ci sono altri esempi di tali modelli? Infine, gli errori standard, i valori , ecc. Presi da OLS per …

9 regression references linear-model robust

1

In che modo l'aumento del gradiente è come la discesa del gradiente?

Sto leggendo l'utile voce di Wikipedia sull'aumento del gradiente ( https://en.wikipedia.org/wiki/Gradient_boosting ), e cerco di capire come / perché possiamo approssimare i residui con la fase di discesa più ripida (chiamata anche pseudo-gradiente ). Qualcuno può darmi l'intuizione su come la discesa più ripida è collegata / simile ai residui? …

9 self-study gradient-descent

5

Qual è un buon modo per rappresentare graficamente un numero molto elevato di punti dati associati?

Nel mio campo il solito modo per tracciare i dati accoppiati è come una serie di sottili segmenti di linea inclinati, sovrapponendoli con la mediana e CI della mediana per i due gruppi: Tuttavia, questo tipo di trama diventa molto più difficile da leggere quando il numero di punti dati …

9 generalized-linear-model data-visualization modeling interpretation paired-data

4

La distribuzione di probabilità di un'urna cambia mentre si trae da essa senza sostituirla in media?

Supponiamo che io abbia un'urna contenente N diversi colori di palline e che ogni colore diverso possa apparire un numero diverso di volte (se ci sono 10 palline rosse non è necessario che ci siano anche 10 palline blu). Se conosciamo il contenuto esatto dell'urna prima di disegnare possiamo formare …

9 probability discrete-data distributions

1

Addomesticamento dell'inclinazione ... Perché ci sono così tante funzioni di inclinazione?

Spero di avere maggiori informazioni sui quattro tipi di inclinazione di questa comunità. I tipi a cui mi riferisco sono menzionati nella pagina di aiuto http://www.inside-r.org/packages/cran/e1071/docs/skewness . Il vecchio metodo non è stato menzionato nella pagina di aiuto, ma lo includo comunque. require(moments) require(e1071) x=rnorm(100) n=length(x) hist(x) ###############type=1 e1071::skewness(x,type=1) sqrt(n) …

9 skewness

1

Alternative per il test chi-quadrato per l'indipendenza per tavoli più di 2 x 2

Quali sono alcune alternative al test chi-quadrato per variabili categoriali con tabelle più grandi di 2 x 2 e celle con un numero inferiore a 5, se non voglio unire le classi?

9 chi-squared fishers-exact

4

Funzione inversa di varianza

Per un dato numero costante rrr (es. 4), è possibile trovare una distribuzione di probabilità per XXX , in modo che abbiamo V a r ( X) = rVar(X)=r\mathrm{Var}(X)=r ?

9 distributions mathematical-statistics variance

7

Se tutti i 1000 pazienti test non sono curati dal farmaco, non possiamo dire che accettiamo l'ipotesi nulla?

In molti posti ho letto che non possiamo mai dire che "accettiamo" l'ipotesi nulla. Invece dobbiamo dire che "non riusciamo a respingere" l'ipotesi nulla. Ma non vedo come questo quadrato con questo semplice esempio: supponiamo di testare un farmaco che dovrebbe curare completamente il diabete entro 24 ore. Lo proviamo …

9 hypothesis-testing

1

Come applicare la regressione sui componenti principali per prevedere una variabile di output?

Ho letto le basi dell'analisi dei componenti principali da tutorial1 , link1 e link2 . Ho un set di dati di 100 variabili (inclusa la variabile di output Y), voglio ridurre le variabili a 40 tramite PCA e quindi prevedere la variabile Y utilizzando quelle 40 variabili. Problema 1: dopo …

9 regression pca

1

Stima dei modelli di regressione logistica multilivello

Il seguente modello logistico multilivello con una variabile esplicativa a livello 1 (livello individuale) e una variabile esplicativa a livello 2 (livello gruppo): π 0 j = γ 00 + γ 01 z j + u 0 j … ( 2 ) π 1 j = γ 10 + γ …

9 r logistic generalized-linear-model simulation multilevel-analysis

1

Pacchetto Metafor: diagnostica di bias e sensibilità

Sto conducendo una meta-analisi multi-livello che include alcuni articoli con risultati multipli. Pertanto sto usando la rma.mv()funzione. Codice di esempio: test.main = rma.mv(yi,vi,random = ~1|ID, data = data) Ho due domande: Ho letto in una precedente interrogazione che quando si usa rma.mv(), ranktest()non è un test affidabile di funnel plot …

9 meta-analysis sensitivity-analysis publication-bias funnel-plot