Statistiche e Big Data

2

Come trasformare valori negativi in logaritmi?

Vorrei sapere come trasformare valori negativi in Log(), poiché ho dati eteroschedastici. Ho letto che funziona con la formula Log(x+1)ma questo non funziona con il mio database e continuo a ottenere NaN come risultato. Ad esempio, ricevo questo messaggio di avviso (non ho inserito il mio database completo perché penso …

12 r logarithm

2

Lanciare una moneta è un modo equo di randomizzare un gruppo in due gruppi?

Quindi io e mio zio stiamo discutendo sul fatto che il lancio di una moneta sia davvero casuale. Sostengo che non lo sia perché in termini reali un lanciatore di monete manipolerà sempre una moneta, quindi il risultato non è 50/50, quindi non è una buona scelta come tecnica di …

12 random-generation randomness random-allocation

1

Perché le persone non usano RBF più profondi o RBF in combinazione con MLP?

Quindi, quando guardo le reti neurali con funzione di base radiale, ho notato che le persone raccomandano sempre e solo l'uso di 1 strato nascosto, mentre con le reti neurali percettrici multistrato più strati sono considerati migliori. Dato che le reti RBF possono essere addestrate con la versione della propagazione …

12 machine-learning neural-networks rbf-network

1

Estrazione automatica delle parole chiave: utilizzo delle somiglianze del coseno come funzionalità

Ho una matrice di documenti e ora vorrei estrarre parole chiave per ogni documento con un metodo di apprendimento supervisionato (SVM, Naive Bayes, ...). In questo modello, utilizzo già Tf-idf, tag Pos, ...MMM Ma ora mi chiedo dei prossimi. Ho una matrice con le somiglianze del coseno tra i termini.CCC …

12 text-mining feature-construction supervised-learning cosine-distance cosine-similarity

1

Come interpretare l'altezza della trama della densità

Come dovrei interpretare l'altezza dei grafici della densità: Ad esempio nel grafico sopra, il picco è a circa 0,07 a x = 18. Posso dedurre che circa il 7% dei valori sono circa 18? Posso essere più specifico di così? C'è anche un secondo picco a x = 30 con …

12 data-visualization pdf

1

Quando dovrei essere preoccupato per il paradosso Jeffreys-Lindley nella scelta del modello bayesiano?

Sto prendendo in considerazione un ampio (ma finito) spazio di modelli di varia complessità che esploro usando RJMCMC . Il precedente sul vettore dei parametri per ciascun modello è abbastanza informativo. In quali casi (se ce ne sono) dovrei essere preoccupato per il paradosso Jeffreys-Lindley che favorisce i modelli più …

12 bayesian model-selection mcmc prior improper-prior

3

Per quanto riguarda la convergenza in probabilità

Sia una sequenza di variabili casuali st in probabilità, dove è una costante fissa. Sto cercando di mostrare quanto segue: e entrambi in probabilità. Sono qui per vedere se la mia logica era solida. Ecco il mio lavoro{Xn}n≥1{Xn}n≥1\{X_n\}_{n\geq 1}Xn→aXn→aX_n \to aa>0a>0a>0Xn−−−√→a−−√Xn→a\sqrt{X_n} \to \sqrt{a}aXn→1aXn→1\frac{a}{X_n}\to 1 TENTATIVO Per la prima parte, abbiamo …

12 random-variable convergence asymptotics probability-inequalities coverage-probability

2

Perché n-gram viene utilizzato nell'identificazione della lingua del testo anziché nelle parole?

In due famose librerie di identificazione linguistica, Compact Language Detector 2 per C ++ e rivelatore di lingua per Java, entrambi utilizzavano n-grammi (basati sui caratteri) per estrarre funzionalità di testo. Perché un bag-of-word (parola singola / dizionario) non viene utilizzato e qual è il vantaggio e lo svantaggio di …

12 machine-learning classification text-mining natural-language

1

Distribuzione approssimativa del prodotto di N normale iid? Caso speciale μ≈0

Dato iid X n ≈ N ( μ X , σ 2 X ) e μ X ≈ 0 , cercando:N≥ 30N≥30N\geq30Xn≈ N( μX, σ2X)Xn≈N(μX,σX2)X_n\approx\mathcal{N}(\mu_X,\sigma_X^2)μX≈ 0μX≈0\mu_X \approx 0 approssimazione accurata della distribuzione in forma chiusa di YN= ∏1NXnYN=∏1NXnY_N=\prod\limits_{1}^{N}{X_n} approssimazione asintotica ( esponenziale ?) dello stesso prodotto Questo è un caso …

12 distributions normal-distribution asymptotics approximation

1

Qual è il nome del metodo di stima della densità in cui tutte le coppie possibili vengono utilizzate per creare una distribuzione della miscela normale?

Ho appena pensato a un modo pulito (non necessariamente buono) per creare stime di densità monodimensionali e la mia domanda è: Questo metodo di stima della densità ha un nome? In caso contrario, è un caso speciale di qualche altro metodo in letteratura? Ecco il metodo: Abbiamo un vettore che …

12 r estimation nonparametric pdf kernel-smoothing

1

Varianza della statistica

La di Cohen è uno dei modi più comuni per misurare la dimensione di un effetto ( vedi Wikipedia ). Misura semplicemente la distanza tra due mezzi in termini di deviazione standard aggregata. Come possiamo derivare la formula matematica della stima della varianza di D di Cohen ? dddddd Modifica …

12 variance effect-size cohens-d

2

Come calcolare i pesi del criterio Fisher?

Sto studiando il riconoscimento di modelli e l'apprendimento automatico e ho incontrato la seguente domanda. Considera un problema di classificazione di due classi con uguale probabilità di classe precedenteP(D1)=P(D2)=12P(D1)=P(D2)=12P(D_1)=P(D_2)= \frac{1}{2} e la distribuzione delle istanze in ciascuna classe data da p(x|D1)=N([00],[2001]),p(x|D1)=N([00],[2001]), p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} …

12 machine-learning self-study classification discriminant-analysis

3

Quantificazione della somiglianza tra due set di dati

Riepilogo : cercare di trovare il metodo migliore per riepilogare la somiglianza tra due insiemi di dati allineati utilizzando un singolo valore. Dettagli : La mia domanda è meglio spiegata con un diagramma. I grafici seguenti mostrano due diversi set di dati, ciascuno con valori etichettati nfe nr. I punti …

12 similarities

2

Quali sono i vantaggi dell'utilizzo di una rete neurale bayesiana

Recentemente ho letto alcuni articoli sulla rete neurale bayesiana (BNN) [Neal, 1992] , [Neal, 2012] , che fornisce una relazione di probabilità tra l'input e l'output in una rete neurale. La formazione di una tale rete neurale avviene tramite MCMC, che è diverso dal tradizionale algoritmo di retro-propagazione. La mia …

12 bayesian neural-networks bayesian-network

3

perché il metodo di potenziamento è sensibile ai valori anomali

Ho trovato molti articoli che affermano che i metodi di potenziamento sono sensibili ai valori anomali, ma nessun articolo spiega il perché. Nella mia esperienza, i valori anomali sono dannosi per qualsiasi algoritmo di apprendimento automatico, ma perché i metodi di potenziamento sono particolarmente sensibili? In che modo i seguenti …

12 machine-learning svm outliers cart boosting