Statistiche e Big Data

1

Valori p di bootstrap non parametrici rispetto a intervalli di confidenza

Contesto Questo è in qualche modo simile a questa domanda , ma non credo sia un duplicato esatto. Quando cerchi come istruzioni su come eseguire un test di ipotesi bootstrap, di solito si afferma che va bene usare la distribuzione empirica per intervalli di confidenza ma che è necessario avviare …

11 confidence-interval p-value bootstrap

1

Algoritmi di incorporamento delle parole in termini di prestazioni

Sto cercando di incorporare circa 60 milioni di frasi in uno spazio vettoriale , quindi calcolare la somiglianza del coseno tra loro. Sto usando sklearn CountVectorizercon una funzione tokenizer personalizzata che produce unigrammi e bigrammi. Si scopre che per ottenere rappresentazioni significative, devo consentire un numero enorme di colonne, lineare …

11 machine-learning natural-language word2vec word-embeddings cosine-similarity

1

Perché la selezione delle funzionalità è importante per le attività di classificazione?

Sto imparando a selezionare le funzionalità. Vedo perché sarebbe importante e utile, per la costruzione di modelli. Ma concentriamoci sulle attività di apprendimento supervisionato (classificazione). Perché la selezione delle funzionalità è importante per le attività di classificazione? Vedo molta letteratura scritta sulla selezione delle caratteristiche e sul suo utilizzo per …

11 feature-selection accuracy regression-strategies

3

Quali sono i meriti di diversi approcci per rilevare la collinearità?

Voglio scoprire se la collinearità è un problema nella mia regressione OLS. Comprendo che i fattori di inflazione della varianza e l'indice di condizione sono due misure comunemente utilizzate, ma trovo difficile trovare qualcosa di preciso sui meriti di ciascun approccio o quali dovrebbero essere i punteggi. Una fonte importante …

11 multiple-regression references least-squares multicollinearity vif

1

Qual è il modo corretto di calcolare la stima della densità del kernel dalle coordinate geografiche?

Devo calcolare la stima della densità del kernel 2d (kde) da un elenco di coordinate di latitudine e longitudine. Ma un grado in latitudine non è la stessa distanza di un grado in longitudine, ciò significa che i singoli kernel sarebbero ovali, specialmente più il punto è dall'equatore. Nel mio …

11 spatial kernel-smoothing geostatistics geography

1

Quali sono le proprietà statistiche "desiderabili" del test del rapporto di verosimiglianza?

Sto leggendo un articolo il cui metodo è completamente basato sul test del rapporto di verosimiglianza. L'autore afferma che il test LR contro alternative a una facciata è UMP. Procede sostenendolo "... anche quando [il test LR] non può essere dimostrato essere uniformemente più potente, il test LR ha spesso …

11 hypothesis-testing power-analysis power likelihood-ratio neyman-pearson-lemma

2

Classificazione con dati parzialmente "sconosciuti"

Supponiamo che io voglia imparare un classificatore che accetta un vettore di numeri come input e fornisce un'etichetta di classe come output. I miei dati di allenamento consistono in un gran numero di coppie input-output. Tuttavia, quando vengo a provare alcuni nuovi dati, questi dati sono in genere solo parzialmente …

11 machine-learning classification neural-networks deep-learning

2

Unione di osservazioni nel processo gaussiano

Sto usando il processo gaussiano (GP) per la regressione. Nel mio problema è abbastanza comune che due o più punti dati siano vicini l'uno all'altro, relativamente alle scale di lunghezza del problema. Inoltre, le osservazioni possono essere estremamente rumorose. Per accelerare i calcoli e migliorare la precisione delle misurazioni , …

11 regression machine-learning gaussian-process

2

Perché è necessario MCMC quando si stima un parametro usando MAP

Data la formula per la stima MAP di un parametro Perché è necessario un approccio MCMC (o simile), non posso semplicemente prendere la derivata, impostarla su zero e quindi risolvere il parametro?

11 bayesian estimation mcmc

1

Gli statistici usano il precedente di Jeffreys nel lavoro effettivamente applicato?

Quando ho appreso del precedente di Jeffreys nella mia classe di inferenza statistica laureata, i miei professori facevano sembrare che fosse interessante soprattutto per ragioni storiche piuttosto che perché qualcuno l'avrebbe mai usato. Poi, quando ho preso l'analisi dei dati bayesiani, non ci è mai stato chiesto di usare i …

11 bayesian prior jeffreys-prior

4

Come scegliere se uscire dalla coda dell'autobus o rimanere lì usando la teoria delle probabilità?

Sto pensando a qualcosa da qualche tempo ormai, e poiché non sono molto esperto nella teoria della probabilità, ho pensato che questo potesse essere un buon posto per porre questa domanda. Questo è qualcosa che mi è venuto in mente nelle lunghe file del trasporto pubblico. Supponi di essere in …

11 probability

1

Stimare la varianza di una popolazione se si conosce la media della popolazione

So che usiamo per stimare la varianza di una popolazione. Ricordo un video della Khan Academy in cui l'intuizione data era che la nostra media stimata è probabilmente un po 'diversa da quella reale, quindi le distanze sarebbero effettivamente maggiori, quindi dividiamo per meno ( anziché ) ottenere un valore …

11 variance sample

2

Confine di errore a livello familiare: il riutilizzo di set di dati su diversi studi di domande indipendenti porta a molteplici problemi di test?

Se un team di ricercatori esegue test multipli (ipotesi) su un determinato set di dati, esiste un volume di letteratura che afferma che dovrebbero usare una qualche forma di correzione per test multipli (Bonferroni, ecc.), Anche se i test sono indipendenti. La mia domanda è questa: questa stessa logica si …

11 hypothesis-testing multiple-comparisons

1

Selezione del modello bayesiano in PyMC3

Sto usando PyMC3 per eseguire modelli bayesiani sui miei dati. Sono nuovo nella modellazione bayesiana ma secondo alcuni post di blog , Wikipedia e QA di questo sito, sembra essere un approccio valido per utilizzare il fattore Bayes e il criterio BIC per essere in grado di scegliere quale modello …

11 bayesian model-selection pymc

2

Modello logit bayesiano - spiegazione intuitiva?

Devo confessare che in precedenza non avevo sentito parlare di quel termine in nessuna delle mie lezioni, laureandi o laurea. Cosa significa che una regressione logistica è bayesiana? Sto cercando una spiegazione con una transizione dalla logistica normale alla logistica bayesiana simile alla seguente: Questa è l'equazione nel modello di …

11 regression logistic bayesian multiple-regression generalized-linear-model