Statistiche e Big Data

27

La situazione Alcuni ricercatori vorrebbero metterti a dormire. A seconda del lancio segreto di una moneta giusta, ti risveglieranno brevemente una volta (teste) o due volte (code). Dopo ogni risveglio, ti riporteranno a dormire con un farmaco che ti farà dimenticare quel risveglio. Quando si è risvegliato, fino a che …

133 decision-theory paradox

8

Perché il metodo di Newton non è ampiamente utilizzato nell'apprendimento automatico?

Questo è qualcosa che mi ha infastidito per un po 'e non ho trovato risposte soddisfacenti online, quindi ecco qui: Dopo aver esaminato una serie di lezioni sull'ottimizzazione convessa, il metodo di Newton sembra essere un algoritmo di gran lunga superiore alla discesa del gradiente per trovare soluzioni ottimali a …

132 machine-learning optimization gradient-descent hessian

4

Kappa di Cohen in inglese semplice

Sto leggendo un libro di data mining e menziona la statistica Kappa come mezzo per valutare le prestazioni di previsione dei classificatori. Tuttavia, non riesco proprio a capirlo. Ho anche controllato Wikipedia ma non ha aiutato troppo: https://en.wikipedia.org/wiki/Cohen's_kappa . In che modo il kappa di Cohen aiuta a valutare le …

131 classification data-mining cohens-kappa

14

I set di dati di grandi dimensioni sono inappropriati per il test delle ipotesi?

In un recente articolo di Amstat News , gli autori (Mark van der Laan e Sherri Rose) hanno dichiarato che "Sappiamo che per campioni sufficientemente grandi, ogni studio, compresi quelli in cui è vera l'ipotesi nulla di nessun effetto, dichiarerà un effetto statisticamente significativo ". Beh, io per primo non …

129 hypothesis-testing sample-size dataset large-data

6

Qual è la differenza tra varianza e deviazione standard?

Mi chiedevo quale fosse la differenza tra la varianza e la deviazione standard. Se calcoli i due valori, è chiaro che ottieni la deviazione standard dalla varianza, ma cosa significa in termini di distribuzione che stai osservando? Inoltre, perché hai davvero bisogno di una deviazione standard?

127 variance mathematical-statistics standard-deviation

9

Spiegazione dal basso verso l'alto della distanza di Mahalanobis?

Sto studiando il riconoscimento dei modelli e le statistiche e quasi ogni libro che apro sull'argomento mi imbatto nel concetto di distanza di Mahalanobis . I libri forniscono una sorta di spiegazioni intuitive, ma ancora non abbastanza buone per me per capire davvero cosa sta succedendo. Se qualcuno mi chiedesse …

127 normal-distribution mathematical-statistics distance pattern-recognition intuition

9

Ottenere conoscenza da una foresta casuale

Le foreste casuali sono considerate scatole nere, ma recentemente stavo pensando a quali conoscenze si possano ottenere da una foresta casuale? La cosa più ovvia è l'importanza delle variabili, nella variante più semplice può essere fatto semplicemente calcolando il numero di occorrenze di una variabile. La seconda cosa a cui …

127 machine-learning data-mining interaction random-forest cart

3

Qual è la differenza tra uno stimatore coerente e uno stimatore imparziale?

Sono davvero sorpreso che nessuno sembra averlo già chiesto ... Quando si parla di stimatori, due termini usati frequentemente sono "coerenti" e "imparziali". La mia domanda è semplice: qual è la differenza? Le precise definizioni tecniche di questi termini sono piuttosto complicate ed è difficile avere un'idea intuitiva di ciò …

125 unbiased-estimator estimators consistency

3

Aiutami a capire le distribuzioni bayesiane precedenti e posteriori

In un gruppo di studenti, ci sono 2 su 18 che sono mancini. Trova la distribuzione posteriore degli studenti mancini nella popolazione assumendo un precedente non informativo. Riassumi i risultati. Secondo la letteratura, il 5-20% delle persone è mancino. Prendi in considerazione queste informazioni nel tuo precedente e calcola il …

125 distributions bayesian prior posterior

6

Correlazioni con variabili categoriche non ordinate

Ho un dataframe con molte osservazioni e molte variabili. Alcuni sono categorici (non ordinati) e altri sono numerici. Sto cercando associazioni tra queste variabili. Sono stato in grado di calcolare la correlazione per variabili numeriche (correlazione di Spearman) ma: Non so come misurare la correlazione tra variabili categoriche non ordinate. …

123 r correlation categorical-data continuous-data mixed-type-data

4

Qual è la differenza tra reti neurali convoluzionali, macchine Boltzmann riservate e codificatori automatici?

Recentemente ho letto del deep learning e sono confuso riguardo ai termini (o alle tecnologie). Qual è la differenza tra Reti neurali convoluzionali (CNN), Macchine Boltzmann limitate (RBM) e Auto-encoder?

123 neural-networks deep-learning conv-neural-network autoencoders rbm

3

Qual è la differenza tra regressione lineare e regressione logistica?

Qual è la differenza tra regressione lineare e regressione logistica? Quando useresti ciascuno?

122 regression logistic linear-model

3

Perché abbiamo bisogno di sigma-algebre per definire gli spazi di probabilità?

Abbiamo un esperimento casuale con risultati diversi che formano lo spazio campione sul quale guardiamo con interesse a determinati schemi, chiamati eventiLe sigma-algebre (o campi sigma) sono costituite da eventi ai quali è possibile assegnare una misura di probabilità . Alcune proprietà sono soddisfatte, tra cui l'inclusione del set nullo …

122 probability intuition measure-theory sigma-algebra

21

Ad ogni passo di un processo infinito limitante, metti 10 palline in un'urna e rimuovine una a caso. Quante palle sono rimaste?

La domanda (leggermente modificata) è la seguente e se non l'hai mai incontrata prima puoi verificarla nell'esempio 6a, capitolo 2, di A First Course in Probability di Sheldon Ross : Supponiamo di possedere un'urna infinitamente grande e una collezione infinita di palline etichettate con la palla numero 1, numero 2, …

121 probability paradox

5

Come scegliere tra la correlazione di Pearson e Spearman?

Come faccio a sapere quando scegliere tra Spearman's e Pearson's ? La mia variabile include soddisfazione e i punteggi sono stati interpretati usando la somma dei punteggi. Tuttavia, questi punteggi potrebbero anche essere classificati.rρρ\rhorrr

119 correlation pearson-r spearman-rho