Statistiche e Big Data

5

Clustering (k-significa, o altro) con un vincolo di dimensione minima del cluster

Devo raggruppare le unità in cluster per minimizzare la somma dei quadrati all'interno del gruppo (WSS), ma devo assicurarmi che i cluster contengano almeno unità. Qualche idea se una qualsiasi delle funzioni di clustering di R consenta il clustering in cluster soggetti a un vincolo di dimensione minima del cluster? …

14 r clustering

2

Qual è la differenza tra l'output "coef" e "(exp) coef" di coxph in R?

Ho cercato di discernere cosa significano esattamente i risultati "coef" e "(exp) coef" di coxph. Sembra che i "(exp) coef" siano confronti della prima variabile nel modello in base al gruppo assegnato nel comando. In che modo la funzione coxph arriva ai valori di "coef" e "(exp) coef"? Inoltre, in …

14 r survival interpretation

3

OLS è BLU. Ma cosa succede se non mi interessa l'imparzialità e la linearità?

Il teorema di Gauss-Markov ci dice che lo stimatore OLS è il miglior stimatore imparziale lineare per il modello di regressione lineare. Ma supponiamo che non mi interessi della linearità e dell'imparzialità. Esiste poi un altro stimatore (possibile non lineare / distorto) per il modello di regressione lineare che è …

14 regression unbiased-estimator

6

Regressione lineare quando Y è limitato e discreto

La domanda è semplice: è appropriato usare la regressione lineare quando Y è limitato e discreto (ad es. Il punteggio del test 1 ~ 100, qualche classifica predefinita 1 ~ 17)? In questo caso, "non è buono" usare la regressione lineare o è totalmente sbagliato usarla?

14 regression multiple-regression least-squares linear bounds

5

Perché abbiamo bisogno di ipotesi alternative?

Quando eseguiamo i test finiamo con due risultati. 1) Respingiamo l'ipotesi nulla 2) Non riusciamo a respingere l'ipotesi nulla. Non parliamo di accettare ipotesi alternative. Se non parliamo di accettare ipotesi alternative, perché dobbiamo avere delle ipotesi alternative? Ecco l'aggiornamento: qualcuno potrebbe darmi due esempi: 1) rifiutare un'ipotesi nulla equivale …

14 hypothesis-testing

2

Qual è il valore atteso del logaritmo della distribuzione gamma?

Se il valore atteso di è , qual è il valore atteso di ? Può essere calcolato analiticamente?Gamma(α,β)Gamma(α,β)\mathsf{Gamma}(\alpha, \beta)αβαβ\frac{\alpha}{\beta}log(Gamma(α,β) )log⁡(Gamma(α,β))\log(\mathsf{Gamma}(\alpha, \beta)) La parametrizzazione che sto usando è la forma-frequenza.

14 expected-value gamma-distribution

3

Perché le reti neurali necessitano di selezione / ingegneria delle caratteristiche?

Soprattutto nel contesto delle competizioni kaggle ho notato che le prestazioni del modello riguardano la selezione / ingegneria delle caratteristiche. Sebbene io possa comprendere appieno il motivo per cui si tratta degli algoritmi ML più convenzionali / di vecchia scuola, non vedo perché ciò avvenga quando si utilizzano reti neurali …

14 neural-networks deep-learning feature-selection feature-engineering

2

Perché usare il collegamento logit nella regressione beta?

Di recente, sono stato interessato all'implementazione di un modello di regressione beta, per un risultato che è proporzionale. Si noti che questo risultato non si adatterebbe al contesto binomiale, poiché in questo contesto non esiste un concetto significativo di "successo" discreto. In effetti, il risultato è in realtà una proporzione …

14 logit beta-regression

3

Come devono essere ordinate la selezione delle caratteristiche e l'ottimizzazione dell'iperparametro nella pipeline dell'apprendimento automatico?

Il mio obiettivo è classificare i segnali dei sensori. Finora il concetto della mia soluzione è: i) Funzionalità di ingegneria dal segnale non elaborato ii) Selezione di funzionalità rilevanti con ReliefF e un approccio di clustering iii) Applicazione di NN, Random Forest e SVM Tuttavia sono intrappolato in un dilemma. …

14 feature-selection hyperparameter optimization

1

Cosa significa uno strato di collo di bottiglia nelle reti neurali?

Stavo leggendo il documento FaceNet e nel terzo paragrafo dell'introduzione si dice: Gli approcci di riconoscimento del volto precedenti basati su reti profonde utilizzano un livello di classificazione addestrato su un insieme di identità di volti noti e quindi adottano un livello di collo di bottiglia intermedio come rappresentazione utilizzata …

14 neural-networks image-processing

1

Qual è la differenza tra episodio ed epoca nell'apprendimento Q profondo?

Sto cercando di capire il famoso articolo "Giocando Atari con Deep Reinforcement Learning" ( pdf ). Non sono chiaro sulla differenza tra un'epoca e un episodio . Nell'algoritmo , il ciclo esterno è sopra episodi , mentre in figura l'asse x è etichettato epoca . Nel contesto dell'apprendimento per rinforzo, …

14 neural-networks terminology reinforcement-learning q-learning

2

Come si inserisce la validazione incrociata di k-fold nel contesto di training / validation / testing sets?

La mia domanda principale riguarda il tentativo di capire come k-fold cross-validation si adatta al contesto di avere set di training / validation / testing (se si adatta a tutti in tale contesto). Di solito, le persone parlano di dividere i dati in un set di addestramento, validazione e test …

14 cross-validation dataset overfitting

2

Come funziona Naive Bayes con variabili continue?

Per la mia (molto basilare) comprensione, Naive Bayes stima le probabilità in base alle frequenze di classe di ciascuna caratteristica nei dati di addestramento. Ma come calcola la frequenza delle variabili continue? E quando si effettua la previsione, come classifica una nuova osservazione che potrebbe non avere gli stessi valori …

14 machine-learning classification bayesian naive-bayes

1

L'aumento del gradiente è appropriato per i dati con tassi di eventi bassi come l'1%?

Sto provando a incrementare il gradiente su un set di dati con un tasso di eventi di circa l'1% utilizzando Enterprise miner, ma non riesce a produrre alcun output. La mia domanda è, dato che si tratta di un approccio basato sull'albero decisionale, è anche giusto usare il boost gradiente …

14 boosting unbalanced-classes rare-events gradient

2

Inizializzazione del peso xavier della CNN

In alcuni tutorial ho scoperto che l'inizializzazione del peso "Xavier" (articolo: comprendere la difficoltà di addestrare reti neurali profonde ) è un modo efficace per inizializzare i pesi delle reti neurali. Per i livelli completamente collegati c'era una regola empirica in quei tutorial: Var(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W) = \frac{2}{n_{in} + n_{out}}, …

14 normal-distribution variance neural-networks conv-neural-network