Statistiche e Big Data

4

Distinzione tra modello lineare e non lineare

Ho letto alcune spiegazioni sulle proprietà dei modelli lineari o non lineari, ma a volte non sono sicuro che un modello a portata di mano sia lineare o non lineare. Ad esempio, il seguente modello è lineare o non lineare? yt=β0+β1B(L;θ)Xt+εtyt=β0+β1B(L;θ)Xt+εty_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t Con: B ( L ; θ ) …

13 linear-model nonlinear-regression nonlinear

3

Devo eliminare le variabili correlate / collineari prima di eseguire i kmean?

Sto correndo chilometri per identificare gruppi di clienti. Ho circa 100 variabili per identificare i cluster. Ognuna di queste variabili rappresenta la percentuale di spesa di un cliente in una categoria. Quindi, se ho 100 categorie, ho queste 100 variabili in modo tale che la somma di queste variabili sia …

13 clustering data-mining k-means multicollinearity compositional-data

1

Condizioni per l'esistenza di una matrice di informazioni Fisher

Diversi libri di testo citano condizioni diverse per l'esistenza di una matrice di informazioni Fisher. Diverse condizioni di questo tipo sono elencate di seguito, ognuna delle quali appare in alcune, ma non in tutte, le definizioni di "matrice di informazioni Fisher". Esiste un insieme standard e minimo di condizioni? Delle …

13 fisher-information

4

Come scegliere i valori iniziali per l'adattamento dei minimi quadrati non lineari

La domanda sopra dice tutto. Fondamentalmente la mia domanda è per una funzione di adattamento generica (potrebbe essere arbitrariamente complicata) che non sarà lineare nei parametri che sto provando a stimare, come scegliere i valori iniziali per inizializzare l'adattamento? Sto cercando di fare minimi quadrati non lineari. C'è qualche strategia …

13 least-squares nonlinear-regression starting-values

1

Percorsi dei coefficienti: confronto tra cresta, lazo e regressione della rete elastica

Vorrei confrontare i modelli selezionati con la cresta, il lazo e la rete elastica. La Fig. Sotto mostra i percorsi dei coefficienti usando tutti e 3 i metodi: cresta (Fig A, alfa = 0), lazo (Fig B; alfa = 1) e rete elastica (Fig C; alfa = 0,5). La soluzione …

13 r multiple-regression modeling regularization

2

Relazione tra i coefficienti di correlazione phi, Matthews e Pearson

I coefficienti di correlazione phi e Matthews sono lo stesso concetto? In che modo sono correlati o equivalenti al coefficiente di correlazione di Pearson per due variabili binarie? Presumo che i valori binari siano 0 e 1. Correlazione di Pearson tra due variabili aleatorie di Bernoulli ed y è:xxxyyy ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]−−−−−−−−−−√=E[xy]−E[x]E[y]Var[x]Var[y]−−−−−−−−−−√=n11n−n1∙n∙1n0∙n1∙n∙0n∙1−−−−−−−−−−√ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]=E[xy]−E[x]E[y]Var[x]Var[y]=n11n−n1∙n∙1n0∙n1∙n∙0n∙1 …

13 correlation contingency-tables bernoulli-distribution model-evaluation confusion-matrix

1

Puoi confrontare i valori AIC purché i modelli siano basati sullo stesso set di dati?

Sto facendo delle previsioni in R usando il pacchetto di previsioni di Rob Hyndman . Il documento appartenente al pacchetto può essere trovato qui . Nel documento, dopo aver spiegato gli algoritmi di previsione automatica, gli autori implementano gli algoritmi sullo stesso set di dati. Tuttavia, dopo aver stimato sia …

13 time-series forecasting model-selection aic

3

Alternativa alla varianza diseguale ANOVA a senso unico

Vorrei confrontare le medie tra tre gruppi di dimensioni uguali (la dimensione del campione uguale è piccola, 21). I mezzi di ciascun gruppo sono normalmente distribuiti, ma le loro varianze sono disuguali (testati tramite Levene). Una trasformazione è la strada migliore in questa situazione? Dovrei considerare prima qualcos'altro?

13 anova variance heteroscedasticity

3

Rango complessivo da più elenchi classificati

Ho esaminato un sacco di letteratura disponibile online, incluso questo forum senza fortuna e sperando che qualcuno possa aiutare un problema statistico che attualmente sto affrontando: Ho 5 elenchi di dati classificati, ognuno contenente 10 elementi classificati dalla posizione 1 (migliore) alla posizione 10 (peggiore). Per motivi di contesto, i …

13 statistical-significance ranking valuation

1

Comprensione di MCMC e dell'algoritmo Metropolis-Hastings

Negli ultimi giorni ho cercato di capire come funziona Markov Chain Monte Carlo (MCMC). In particolare, ho cercato di comprendere e implementare l'algoritmo Metropolis-Hastings. Finora penso di avere una comprensione generale dell'algoritmo ma ci sono un paio di cose che non sono ancora chiare per me. Voglio usare MCMC per …

13 mcmc metropolis-hastings

1

Gradi di libertà di regressione lineare multipla

I gradi di libertà in una regressione multipla equivalgono a , dove k è il numero di variabili.N- k - 1N−k−1N-k-1Kkk Fa includono la variabile di risposta (cioè, Y )? Ad esempio, nel modello Y = B 0 + B 1 X 1 + B 2 X 2 , quindi …

13 self-study multiple-regression degrees-of-freedom

3

Punteggio e somiglianza euclidea della distanza

Sto solo lavorando con il libro Collective Intelligence (di Toby Segaran) e mi sono imbattuto nel punteggio di distanza euclideo. Nel libro l'autore mostra come calcolare la somiglianza tra due array di raccomandazioni (cioè .persona × film ↦ punteggio )person×movie↦score)\textrm{person} \times \textrm{movie} \mapsto \textrm{score}) Calcola la distanza euclidea di due …

13 distance-functions similarities

2

Alternativa alla distribuzione empirica

BOUNTY: La generosità sarà assegnata a qualcuno che fornisce un riferimento a qualsiasi documento pubblicato che utilizza o menziona lo stimatore seguito.F~F~\tilde{F} Motivazione: Questa sezione probabilmente non è importante per te e sospetto che non ti aiuterà a ottenere la generosità, ma dato che qualcuno ha chiesto della motivazione, ecco …

13 distributions bernoulli-distribution stratification rejection-sampling ecdf

1

Entropia differenziale

L'entropia differenziale del camper gaussiano è . Questo dipende da , che è la deviazione standard.σlog2( σ2 πe---√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Se normalizziamo la variabile casuale in modo che abbia varianza unitaria, la sua entropia differenziale diminuisce. Per me questo è controintuitivo perché la complessità di Kolmogorov della costante normalizzante dovrebbe …

13 information-theory entropy randomness

2

Aspettativa condizionale della variabile casuale esponenziale

Per una variabile casuale ( ) Sento intuitivamente che dovrebbe essere uguale a poiché dalla proprietà senza memoria la distribuzione di è uguale a quella di ma spostata a destra di .X∼Exp(λ)X∼Exp(λ)X\sim \text{Exp}(\lambda)E[X]=1λE[X]=1λ\mathbb{E}[X] = \frac{1}{\lambda}E[X|X>x]E[X|X>x]\mathbb{E}[X|X > x]x+E[X]x+E[X]x + \mathbb{E}[X]X|X>xX|X>xX|X > xXXXxxx Tuttavia, sto lottando per usare la proprietà senza memoria …

13 random-variable exponential conditional-expectation