Statistiche e Big Data

1

Quando valutiamo la qualità di una foresta casuale, ad esempio utilizzando AUC, è più appropriato calcolare queste quantità sui campioni out of bag o sul set di validazione incrociata? Ho sentito che il calcolo su campioni OOB fornisce una valutazione più pessimistica, ma non vedo perché.

13 cross-validation random-forest auc

1

Decomposizione della varianza

Nella sezione 3.2 di Bishop's Pattern Recognition and Machine Learning , discute della decomposizione di bias-varianza, affermando che per una funzione di perdita quadrata, la perdita attesa può essere scomposta in un termine di bias quadrato (che descrive quanto le previsioni medie sono lontane dal vero modello), un termine di …

13 self-study variance bias regularization loss-functions

2

Dimostra che la massima distribuzione di entropia con una matrice di covarianza fissa è un gaussiano

Sto provando a provare la seguente prova che il gaussiano ha la massima entropia. Che senso ha il passo stellato? Una covarianza specifica risolve solo il secondo momento. Cosa succede al terzo, quarto, quinto momento ecc.?

13 entropy information-theory maximum-entropy

4

Rappresentazione grafica di piccoli campioni

Ho un piccolo set di dati di 14 tempi separati per completare un'attività. Tuttavia, ho difficoltà a trovare un grafico appropriato da utilizzare per rappresentare graficamente i dati. Se il campione fosse più grande, utilizzerei un diagramma a scatole o un istogramma, ma non sono sicuro che sarebbe opportuno utilizzare …

13 data-visualization descriptive-statistics small-sample

7

Differenza tra anomalia e anomalia

Qual è la differenza tra Outlier e Anomaly nel contesto dell'apprendimento automatico. La mia comprensione è che entrambi si riferiscono alla stessa cosa.

13 outliers terminology anomaly-detection

1

Teorema di Bayes con più condizioni

Non capisco come sia stata derivata questa equazione. P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|I′)P(M2|I′)P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|I′)P(M2|I′)P(I|M_{1}\cap M_{2}) \leq \frac{P(I)}{P(I')}\cdot \frac{P(M_{1}|I)P(M_{2}|I)}{P(M_{1}|I')P(M_{2}|I')} Questa equazione proveniva dall'articolo "Prova per probabilità" in cui il caso di OJ Simpson è stato illustrato come un problema di esempio. L'imputato è sotto processo per doppio omicidio e due prove sono state presentate contro di …

13 bayesian conditional-probability bayes

1

ANOVA fa affidamento sul metodo dei momenti e non sulla massima probabilità?

Vedo menzionato in vari punti che ANOVA fa la sua stima usando il metodo dei momenti. Sono confuso da questa affermazione perché, anche se non ho familiarità con il metodo dei momenti, la mia comprensione è che è qualcosa di diverso e non equivalente al metodo della massima probabilità; d'altra …

13 anova mixed-model maximum-likelihood method-of-moments

1

Perché Daniel Wilks (2011) afferma che la regressione della componente principale "sarà di parte"?

In Metodi statistici nelle scienze atmosferiche , Daniel Wilks osserva che la regressione lineare multipla può portare a problemi se ci sono intercorrelazioni molto forti tra i predittori (3a edizione, pagina 559-560): Una patologia che può verificarsi in una regressione lineare multipla è che un insieme di variabili predittive con …

13 regression pca bias

1

Qual è la differenza tra modelli di misurazione formativa e riflettente?

Qualcuno può fornire esempi sul perché scegliere uno rispetto all'altro? Sono calcolati diversamente?

13 sem psychometrics psychology scale-construction

2

La previsione è il "criterio d'oro" per giudicare l'abilità degli statistici?

Lo scorso fine settimana stavo leggendo i modelli lineari del libro di testo di Faraway con R (1a edizione). Faraway aveva un capitolo chiamato "Strategia statistica e incertezza del modello". Ha descritto (pagina 158) che ha generato artificialmente alcuni dati utilizzando un modello molto complicato, quindi chiese ai suoi studenti …

13 predictive-models modeling interpretation

1

Stato dell'arte nel filtraggio collaborativo

Sto lavorando a un progetto per il filtro collaborativo (CF), ovvero il completamento di una matrice parzialmente osservata o più generalmente tensore. Sono un principiante sul campo, e per questo progetto alla fine devo confrontare il nostro metodo con altri ben noti che al giorno d'oggi, i metodi proposti vengono …

13 optimization recommender-system matrix-decomposition

1

Le probabilità sono semplici

Ho qualche problema a capire le probabilità e vorrei solo una spiegazione di base su come interpretarle. Ho trovato vari post relativi alle probabilità, ma la maggior parte di essi sono più complessi di quello che sto cercando di capire. Ecco un esempio di come sto interpretando le probabilità: se …

13 probability intuition odds

1

Spiega come `eigen` aiuta a invertire una matrice

La mia domanda riguarda una tecnica di calcolo sfruttata in geoR:::.negloglik.GRFo geoR:::solve.geoR. In una configurazione lineare mista: dove e sono rispettivamente gli effetti fissi e casuali. Inoltre,Y= Xβ+ Zb + eY=Xβ+ZB+e Y=X\beta+Zb+e ββ\betaBBbΣ = cov ( Y)Σ=COV(Y)\Sigma=\text{cov}(Y) Quando si stimano gli effetti, è necessario calcolare che normalmente può essere fatto …

13 r eigenvalues matrix-decomposition matrix-inverse cholesky

5

Il valore medio di un dado selezionato da una serie infinita di tiri

Se lancio un paio di dadi un numero infinito di volte e seleziono sempre il valore più alto dei due, la media prevista dei valori più alti supererà 3,5? Sembrerebbe che debba esserlo dal momento che se avessi lanciato un milione di dadi e selezionato il valore più alto ogni …

13 dice

3

Definizione e delimitazione del modello di regressione

Una domanda imbarazzantemente semplice, ma sembra che non sia mai stata posta su Cross Validated prima: Qual è la definizione di un modello di regressione? Anche una domanda di supporto, Cosa non è un modello di regressione? Per quanto riguarda quest'ultimo, sono interessato a esempi complicati in cui la risposta …

13 regression linear-model model terminology definition