Statistiche e Big Data

3

Perché il softmax gerarchico è migliore per le parole rare, mentre il campionamento negativo è migliore per le parole frequenti?

Mi chiedo perché il softmax gerarchico sia migliore per le parole rare, mentre il campionamento negativo è meglio per le parole frequenti, nei modelli CBOW e skip-gram di word2vec. Ho letto il reclamo su https://code.google.com/p/word2vec/ .

12 natural-language word2vec word-embeddings softmax

2

Come scegliere la larghezza ottimale del contenitore durante la calibrazione dei modelli di probabilità?

Sfondo: ci sono alcune grandi domande / risposte qui su come calibrare i modelli che prevedono le probabilità che si verifichi un risultato. Per esempio Punteggio di Brier e sua scomposizione in risoluzione, incertezza e affidabilità . Grafici di calibrazione e regressione isotonica . Questi metodi spesso richiedono l'uso di …

12 probability predictive-models binary-data calibration scoring-rules

1

Coefficienti identici stimati nel modello Poisson vs Quasi-Poisson

Nel modellare i dati relativi al conteggio dei sinistri in un ambiente assicurativo, ho iniziato con Poisson ma poi ho notato una sovraispersione. Un Quasi-Poisson modellava meglio la relazione di varianza media maggiore rispetto al Poisson di base, ma ho notato che i coefficienti erano identici in entrambi i modelli …

12 r count-data poisson-regression overdispersion quasi-likelihood

4

Indica che un problema è adatto alla regressione lineare

Sto imparando la regressione lineare usando Introduzione all'analisi della regressione lineare di Montgomery, Peck e Vining . Vorrei scegliere un progetto di analisi dei dati. Ho l'ingenua idea che la regressione lineare sia adatta solo quando si sospetta l'esistenza di relazioni funzionali lineari tra le variabili esplicative e la variabile …

12 regression data-transformation model linear regression-strategies

1

Valutazioni di "Approssimativamente normale" per i test t

Sto testando l'uguaglianza dei mezzi usando il test t di Welch. La distribuzione sottostante è tutt'altro che normale (più distorta dell'esempio in una discussione correlata qui ). Posso ottenere più dati, ma vorrei un modo di principio per determinare fino a che punto farlo. Esiste una buona euristica per valutare …

12 normal-distribution t-test bootstrap central-limit-theorem approximation

1

Regressione logistica ordinale in Python

Vorrei eseguire una regressione logistica ordinale in Python - per una variabile di risposta con tre livelli e con alcuni fattori esplicativi. Il statsmodelspacchetto supporta i modelli binary logit e multinomial logit (MNLogit), ma non il logit ordinato. Dal momento che la matematica di base non è così diversa, mi …

12 categorical-data python logit ordered-logit statsmodels

1

Gioco di carte: se pesca quattro carte in modo casuale e ne pesca sei, qual è la probabilità che la mia carta più alta sia più alta della tua più alta?

Come indicato nel titolo, dite che se pesca 4 carte a caso e ne pescate 6 dallo stesso mazzo, qual è la probabilità che la mia carta più alta batte la vostra carta più alta? Come cambierà se attingiamo da mazzi diversi? Grazie!

12 probability maximum

1

Test di bontà di adattamento nella regressione logistica; quale 'misura' vogliamo testare?

Mi riferisco alla domanda e alle sue risposte: come confrontare l'abilità di previsione (probabilità) dei modelli sviluppati dalla regressione logistica? di @Clark Chong e risposte / commenti di @Frank Harrell. e alla domanda Gradi di libertà di nel test di Hosmer-Lemeshowχ2χ2\chi^2 e commenti. Ho letto l'articolo DW Hosmer, T. Hosmer, …

12 hypothesis-testing logistic predictive-models regression-strategies hosmer-lemeshow-test

2

Tradurre il problema dell'apprendimento automatico in un quadro di regressione

Supponiamo che io abbia un pannello di variabili esplicative , per , , nonché un vettore di variabili binarie dipendenti dal risultato . Quindi Y viene osservato solo nell'ultima volta T e non in qualsiasi momento precedente. Il caso del tutto generale è avere più X_ {ijt} per j = …

12 regression machine-learning reinforcement-learning

2

Cattura di schemi iniziali quando si utilizza la backpropagation troncata nel tempo (RNN / LSTM)

Supponiamo che io usi un RNN / LSTM per fare l'analisi del sentiment, che è un approccio molti-a-uno (vedi questo blog ). La rete viene addestrata attraverso una backpropagation troncata nel tempo (BPTT), dove la rete viene srotolata solo per gli ultimi 30 passaggi. Nel mio caso, ciascuna delle mie …

12 neural-networks deep-learning natural-language backpropagation

3

Diversi modi per produrre un intervallo di confidenza per il rapporto di probabilità dalla regressione logistica

Sto studiando come costruire un intervallo di confidenza al 95% per il rapporto di probabilità dai coefficienti ottenuti nella regressione logistica. Quindi, considerando il modello di regressione logistica, log(p1−p) =α+βXlog⁡(p1−p)=α+βx \log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE} tale che per il gruppo di controllo e …

12 logistic confidence-interval odds-ratio delta-method

3

Quale algoritmo posso usare per trovare correlazioni tra eventi?

Sono nuovo di apprendimento automatico, quindi sto cercando di trovare un po 'di letteratura, ma non sono nemmeno sicuro di cosa per Google. I miei dati sono nel seguente formato: User A performs Action P User B performs Action Q User C performs Action R ... User C performs Action …

12 machine-learning cross-correlation

5

L'apprendimento automatico automatizzato è un sogno?

Quando scopro l'apprendimento automatico vedo diverse tecniche interessanti come: sintonizza automaticamente algoritmi con tecniche come grid search, ottenere risultati più precisi attraverso la combinazione di diversi algoritmi dello stesso "tipo", quella boosting, ottenere risultati più precisi attraverso la combinazione di diversi algoritmi (ma non lo stesso tipo di algoritmi), che …

12 machine-learning algorithms boosting stacking automatic-algorithms

2

Il "Teorema del pranzo libero" non si applica ai test statistici generali?

Una donna per cui lavoravo mi ha chiesto di fare un ANOVA a senso unico su alcuni dati. Ho risposto che i dati erano misure di misure ripetute (serie temporali) e che pensavo che l'assunzione di indipendenza fosse stata violata. Ha risposto che non avrei dovuto preoccuparmi delle ipotesi, farei …

12 assumptions

2

Giustificazione del coniugato precedente?

Oltre all'usabilità, esiste qualche giustificazione epistemica (matematica, filosofica, euristica, ecc.) Per l'uso dei priori coniugati? O è principalmente solo che di solito è un'approssimazione abbastanza buona e rende le cose molto più facili?

12 bayesian conjugate-prior philosophical