Statistiche e Big Data

3

Formula per il lancio di dadi (forza non bruta)

Prima di tutto, non sono sicuro di dove pubblicare questa domanda. Sto chiedendo se un problema di statistica è NP-Complete e se non risolverlo a livello di codice. Lo sto postando qui perché il problema statistico è il punto centrale. Sto cercando di trovare una formula migliore per risolvere un …

14 dice np

2

Che cosa significa "invarianza di permutazione" nel contesto delle reti neurali che riconoscono l'immagine?

Ho visto un termine versione "permutazione invariante" dell'attività di riconoscimento delle cifre MNIST. Cosa significa?

14 machine-learning neural-networks terminology conv-neural-network definition

3

Adeguatezza di ANOVA dopo l'analisi dei cluster di k-medie

La notifica dopo la tabella ANOVA dopo l'analisi dei mezzi K indica che i livelli di significatività non devono essere considerati come test di mezzi uguali, poiché la soluzione del cluster è stata derivata in base alla distanza euclidea per massimizzare la distanza. Quale test devo usare per mostrare se …

14 anova k-means

3

Differenza tra macchine di fattorizzazione e fattorizzazione a matrice?

Mi sono imbattuto nel termine macchine di fattorizzazione nei sistemi di raccomandazione. So cos'è la fattorizzazione a matrice per i sistemi di raccomandazione, ma non ho mai sentito parlare di macchine per la fattorizzazione. Quindi qual è la differenza?

14 machine-learning data-mining recommender-system

2

AIC, BIC e GCV: qual è il migliore per prendere una decisione nei metodi di regressione penalizzata?

La mia comprensione generale è che AIC si occupa del compromesso tra la bontà di adattamento del modello e la complessità del modello. Un ioC= 2 k - 2 l n ( L )UNioC=2K-2ln(L)AIC =2k -2ln(L) KKk = numero di parametri nel modello = probabilitàLLL Il criterio di informazione bayesiana …

14 cross-validation lasso aic ridge-regression bic

2

Utilizzo della convalida incrociata nidificata

La pagina di Scikit Learn sulla selezione del modello menziona l'uso della validazione incrociata nidificata: >>> clf = GridSearchCV(estimator=svc, param_grid=dict(gamma=gammas), ... n_jobs=-1) >>> cross_validation.cross_val_score(clf, X_digits, y_digits) Due cicli di validazione incrociata vengono eseguiti in parallelo: uno dallo stimatore GridSearchCV per impostare la gamma e l'altro da cross_val_score per misurare le …

14 machine-learning cross-validation scikit-learn

2

Perché la sfericità diagnosticata dal test di Bartlett significa che un PCA è inappropriato?

Comprendo che il test di Bartlett si occupa di determinare se i campioni provengono da popolazioni con varianze uguali. Se i campioni provengono da popolazioni con varianze uguali, non riusciamo a respingere l'ipotesi nulla del test e pertanto un'analisi dei componenti principali è inappropriata. Non sono sicuro di dove si …

14 variance pca heteroscedasticity

3

R: Cosa vedo nei grafici di dipendenza parziale di gbm e RandomForest?

In realtà, pensavo di aver capito cosa si può mostrare con un diagramma di dipendenza parziale, ma usando un esempio ipotetico molto semplice, sono rimasto piuttosto perplesso. Nel seguente pezzo di codice a generare tre variabili indipendenti ( un , b , c ) e una variabile dipendente ( y …

14 r random-forest boosting partial-plot

3

Qual è la differenza tra più R e R quadrati?

Nella regressione lineare, spesso otteniamo più R e R quadrati. Quali sono le differenze tra loro?

14 regression r-squared

1

Larghezza di banda del kernel: le regole di Scott contro Silverman

Qualcuno potrebbe spiegare in parole povere qual è la differenza tra le regole empiriche di Scott e Silverman per la selezione della larghezza di banda? In particolare, quando uno è migliore dell'altro? È correlato alla distribuzione sottostante? Numero di campioni? PS Mi riferisco al codice in SciPy .

14 kernel-smoothing

1

Esiste una caratterizzazione intuitiva della correlazione a distanza?

Sto fissando la pagina di Wikipedia per la correlazione della distanza in cui sembra essere caratterizzato da come può essere calcolato. Mentre potrei fare i calcoli, faccio fatica a capire quali misure di correlazione della distanza e perché i calcoli sembrano come loro. Esiste una (o molte) caratterizzazioni più intuitive …

14 correlation distance intuition distance-covariance

4

Quali variabili spiegano quali componenti PCA e viceversa?

Utilizzando questi dati: head(USArrests) nrow(USArrests) Posso fare un PCA in questo modo: plot(USArrests) otherPCA <- princomp(USArrests) Posso ottenere i nuovi componenti otherPCA$scores e la percentuale di varianza spiegata dai componenti con summary(otherPCA) E se volessi sapere quali variabili sono principalmente spiegate da quali componenti principali? E viceversa: ad esempio PC1 …

14 r pca dimensionality-reduction regression-strategies

4

Cosa si intende semplicemente per forma ridotta?

In econometria, cosa si intende per forma ridotta? Inoltre, cosa cercano le persone quando dicono "Vorrei vedere le stime dei moduli ridotti". Questo è stato gettato al lavoro e le spiegazioni individuali e le ricerche di Google sono eccessivamente tecniche. Sperando che qualcuno potesse dare un semplice esempio.

14 regression multiple-regression econometrics

2

Esiste una funzione in R che prende i centri dei cluster che sono stati trovati e assegna i cluster a un nuovo set di dati

Ho due parti di un set di dati multidimensionale, chiamiamole trainetest . E voglio costruire un modello basato sul set di dati del treno e quindi convalidarlo sul set di dati di test. Il numero di cluster è noto. Ho provato ad applicare il clustering k-mean in R e ho …

14 r clustering k-means

2

Qual è la complessità temporale della regressione di Lasso?

Qual è la complessità temporale asintotica della regressione del Lazo all'aumentare del numero di righe o colonne?

14 lasso time-complexity