Statistiche e Big Data

6

Qual è la differenza tra regressione logistica e reti neurali?

Come possiamo spiegare la differenza tra la regressione logistica e la rete neurale a un pubblico che non ha esperienza nelle statistiche?

32 logistic neural-networks

6

Classificazione statistica del testo

Sono un programmatore senza background statistico e attualmente sto esaminando diversi metodi di classificazione per un gran numero di documenti diversi che voglio classificare in categorie predefinite. Ho letto di kNN, SVM e NN. Tuttavia, ho qualche problema ad iniziare. Quali risorse mi consigliate? Conosco abbastanza bene il calcolo a …

32 classification information-retrieval text-mining

8

Qual è la probabilità che questa persona sia femmina?

C'è una persona dietro una tenda - non so se la persona sia femmina o maschio. So che la persona ha i capelli lunghi e che il 90% di tutte le persone con i capelli lunghi sono donne So che la persona ha un raro gruppo sanguigno AX3 e che …

32 conditional-probability probability

2

Perché non ci sono motori di apprendimento di rinforzo profondo per gli scacchi, simili a AlphaGo?

I computer sono stati a lungo in grado di giocare a scacchi usando una tecnica a "forza bruta", cercando una certa profondità e quindi valutando la posizione. Il computer AlphaGo tuttavia utilizza solo una ANN per valutare le posizioni (non fa alcuna ricerca approfondita per quanto ne so). È possibile …

32 neural-networks deep-learning reinforcement-learning games

1

In che modo la PCA aiuterebbe con un'analisi del clustering di k-mean?

Contesto : desidero classificare le aree residenziali di una città in gruppi in base alle loro caratteristiche socio-economiche, tra cui densità dell'unità abitativa, densità della popolazione, area verde, prezzo delle abitazioni, numero di scuole / centri sanitari / centri diurni, ecc. Voglio capire in quanti gruppi diversi possono essere suddivise …

32 clustering pca k-means dimensionality-reduction

2

Funzione di costo nella regressione lineare OLS

Sono un po 'confuso con una lezione sulla regressione lineare tenuta da Andrew Ng su Coursera sull'apprendimento automatico. Lì, ha dato una funzione di costo che minimizza la somma dei quadrati come: 12m∑i=1m(hθ(X(i))−Y(i))212m∑i=1m(hθ(X(i))−Y(i))2 \frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 Capisco da dove viene il . Penso che l'abbia fatto in modo che …

32 regression machine-learning loss-functions

2

Quale intervallo di ricerca per determinare i parametri C e gamma ottimali SVM?

Sto usando SVM per la classificazione e sto cercando di determinare i parametri ottimali per i kernel lineari e RBF. Per il kernel lineare utilizzo la selezione dei parametri convalidata per determinare C e per il kernel RBF utilizzo la ricerca della griglia per determinare C e gamma. Ho 20 …

32 classification svm kernel-trick

3

PCA sulla correlazione o covarianza: il PCA sulla correlazione ha mai senso? [chiuso]

Nell'analisi dei componenti principali (PCA), si può scegliere la matrice di covarianza o la matrice di correlazione per trovare i componenti (dai rispettivi autovettori). Questi danno risultati diversi (caricamenti e punteggi del PC), poiché gli autovettori tra le due matrici non sono uguali. La mia comprensione è che ciò è …

32 pca factor-analysis

4

Come calcolare l'errore relativo quando il valore vero è zero?

Come posso calcolare l'errore relativo quando il valore vero è zero? Supponiamo che io abbia e . Se definisco l'errore relativo come:xtrue=0xtrue=0x_{true} = 0xtestxtestx_{test} relative error=xtrue−xtestxtruerelative error=xtrue−xtestxtrue\text{relative error} = \frac{x_{true}-x_{test}}{x_{true}} Quindi l'errore relativo è sempre indefinito. Se invece uso la definizione: relative error=xtrue−xtestxtestrelative error=xtrue−xtestxtest\text{relative error} = \frac{x_{true}-x_{test}}{x_{test}} Quindi l'errore relativo …

32 error measurement-error

3

Esiste un progetto simile a quello dell'apprendimento automatico?

Ho trovato Project Euler http://projecteuler.net/ incredibilmente utile nell'apprendimento dei linguaggi di programmazione. Esiste un sito simile per l'apprendimento automatico? Ho visto http://www.kaggle.com/ , ma non è così accessibile ai principianti come Project Euler.

32 teaching

1

Funzione obiettivo PCA: qual è la connessione tra massimizzare la varianza e minimizzare l'errore?

L'algoritmo PCA può essere formulato in termini di matrice di correlazione (supponiamo che i dati XXX già stati normalizzati e stiamo considerando solo la proiezione sul primo PC). La funzione obiettivo può essere scritta come: maxw( Xw )T( Xw )stwTw = 1.maxw(Xw)T(Xw)stwTw=1. \max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1. …

32 pca optimization

2

Varianza del prodotto delle variabili dipendenti

Qual è la formula per la varianza del prodotto delle variabili dipendenti? Nel caso di variabili indipendenti la formula è semplice: v a r (XY) = E( X2Y2) - E( XY)2= v a r ( X) v a r ( Y) + v a r ( X) E( Y)2+ v …

32 correlation variance

3

In che modo R gestisce i valori mancanti in lm?

Vorrei regredire un vettore B contro ciascuna delle colonne in una matrice A. Questo è banale se non ci sono dati mancanti, ma se la matrice A contiene valori mancanti, la mia regressione contro A è limitata per includere solo le righe in cui tutti sono presenti valori (il comportamento …

32 r missing-data linear-model

4

Come posso adattare un modello multilivello per risultati di dispersione eccessivamente dispersi?

Voglio montare un GLMM multilivello con una distribuzione di Poisson (con sovra dispersione) usando R. Al momento sto usando lme4 ma ho notato che recentemente la quasipoissonfamiglia è stata rimossa. Ho visto altrove che è possibile modellare l'eccessiva dispersione additiva per le distribuzioni binomiali aggiungendo un'intercettazione casuale con un livello …

32 r mixed-model poisson-distribution lme4-nlme overdispersion

3

Quali criteri di arresto per il clustering gerarchico agglomerativo vengono utilizzati nella pratica?

Ho trovato un'ampia letteratura che propone tutti i tipi di criteri (ad esempio Glenn et al. 1985 (pdf) e Jung et al. 2002 (pdf)). Tuttavia, la maggior parte di questi non è così facile da implementare (almeno dal mio punto di vista). Sto usando scipy.cluster.hierarchy per ottenere una gerarchia di …

32 clustering