Statistiche e Big Data

4

Come devo affrontare questo problema di previsione binaria?

Ho un set di dati con il seguente formato. C'è un esito binario cancro / nessun cancro. Ogni medico nel set di dati ha visto ogni paziente e ha dato un giudizio indipendente sul fatto che il paziente abbia il cancro o meno. I medici danno quindi un livello di …

9 forecasting binary-data psychometrics

1

Dubbi sulla derivazione delle equazioni della regressione del processo gaussiana in un documento

Sto leggendo questo articolo prestampato e ho difficoltà a seguire la loro derivazione delle equazioni per la regressione del processo gaussiana. Usano l'impostazione e la notazione di Rasmussen & Williams . Pertanto, si presuppone un additivo, a media zero, stazionario e normalmente distribuito con varianza :σ2noiseσnoise2\sigma^2_{noise} y=f(x)+ϵ,ϵ∼N(0,σ2noise)y=f(x)+ϵ,ϵ∼N(0,σnoise2)y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise}) …

9 regression bayesian gaussian-process

1

Esempio di come le statistiche bayesiane possono stimare parametri che sono molto difficili da stimare attraverso metodi frequentisti

Gli statistici bayesiani sostengono che "Le statistiche bayesiane possono stimare parametri che sono molto difficili da stimare attraverso metodi frequentisti". La seguente citazione tratta da questa documentazione SAS dice la stessa cosa? Fornisce inferenze che sono condizionate dai dati e sono esatte, senza fare affidamento sull'approssimazione asintotica. L'inferenza di piccolo …

9 bayesian inference sas frequentist

2

Immagini non quadrate per la classificazione delle immagini

Ho un set di dati di immagini di grandi dimensioni: 1760x128. Ho letto tutorial e libri, e la maggior parte di essi afferma che le immagini di input devono essere quadrate e, in caso contrario, vengono trasformate in quadrate per essere addestrate in CNN già formati (su immagini quadrate). C'è …

9 conv-neural-network

3

Quali sono le conseguenze di una varianza non costante nei termini di errore nella regressione lineare?

Uno dei presupposti della regressione lineare è che dovrebbe esserci una variazione costante nei termini di errore e che gli intervalli di confidenza e i test di ipotesi associati al modello si basano su questa ipotesi. Cosa succede esattamente quando i termini di errore non hanno una varianza costante?

9 regression heteroscedasticity assumptions robust-standard-error

2

In realtà va bene eseguire la selezione delle funzioni senza supervisione prima della convalida incrociata?

In The Elements of Statistical Learning , ho trovato la seguente dichiarazione: Esiste una qualifica: le fasi iniziali di screening senza supervisione possono essere eseguite prima che i campioni vengano esclusi. Ad esempio, potremmo selezionare i 1000 predittori con la varianza più elevata tra tutti i 50 campioni, prima di …

9 machine-learning cross-validation feature-selection

1

Perché i miei modelli VAR funzionano meglio con i dati non stazionari rispetto ai dati stazionari?

Sto usando la libreria VAR statsmodels di Python per modellare i dati finanziari delle serie temporali e alcuni risultati mi hanno lasciato perplesso. So che i modelli VAR presumono che i dati delle serie temporali siano stazionari. Inavvertitamente ho adattato una serie non fissa di prezzi dei tronchi per due …

9 time-series forecasting r-squared var stationarity

2

I presupposti dei minimi quadrati

Supponiamo la seguente relazione lineare: , dove è la variabile dipendente, una singola variabile indipendente e il termine di errore.Y i X i u iYio= β0+ β1Xio+ uioYi=β0+β1Xi+uiY_i = \beta_0 + \beta_1 X_i + u_iYioYiY_iXioXiX_iuiouiu_i Secondo Stock & Watson (Introduzione all'econometria; capitolo 4 ), il terzo presupposto dei minimi quadrati …

9 regression least-squares assumptions bias consistency

1

Differenza tra i tipi di SVM

Sono nuovo per supportare le macchine vettoriali. Breve spiegazione La svmfunzione dal e1071pacchetto in R offre varie opzioni: C-classificazione nu-classificazione una classificazione (per il rilevamento di novità) eps-regressione nu-regressione Quali sono le differenze intuitive tra i cinque tipi? Quale dovrebbe essere applicato in quale situazione?

9 r classification svm e1071

2

Dovremmo sempre fare CV?

La mia domanda: dovrei fare CV anche per un set di dati relativamente grande? Ho un set di dati relativamente grande e applicherò un algoritmo di apprendimento automatico al set di dati. Dal momento che il mio PC non è veloce, il CV (e la ricerca della griglia) richiede a …

9 machine-learning cross-validation

2

Un termine di interazione positivo implica una correlazione tra le sue variabili costitutive?

Diciamo che sto eseguendo una regressione lineare che ha la forma .y= β0+ β1A + β2B + β3A B + ϵy=β0+β1A+β2B+β3AB+ϵy = \beta_0 + \beta_1A+\beta_2B+\beta_3AB +\epsilon Se è positivo, ciò implica una correlazione positiva tra e ? (Al contrario, una correlazione negativa se è negativa?) A B β 3β3β3\beta_3UNAABBBβ3β3\beta_3

9 regression interaction

1

Se ho il valore atteso del logaritmo di un camper, posso ottenere il valore atteso del camper stesso?

Supponiamo che sia dato , posso derivare E [ X ] in un formato chiuso? E[log(X)]E[log⁡(X)]\text{E}[\log(X)] E[X]E[X]\text{E}[X]

9 expected-value logarithm

1

Due quantili di una distribuzione beta determinano i suoi parametri?

Se do due quantili e le loro posizioni corrispondenti ( l 1 , l 2 ) (ciascuno) nell'intervallo aperto ( 0 , 1 ) , posso sempre trovare i parametri di una distribuzione beta che ha quei quantili in le posizioni specificate?( q1, q2)(q1,q2)(q_1,q_2)( l1, l2)(l1,l2)(l_1,l_2)( 0 , 1 )(0,1)(0,1)

9 quantiles curve-fitting beta-distribution

2

Comprensione di questo diagramma PCA delle vendite di gelati rispetto alla temperatura

Sto prendendo un dato fittizio sulla temperatura rispetto alle vendite di gelati e lo ho classificato usando K Keans (n cluster = 2) per distinguere 2 categorie (totalmente fittizio). Ora sto facendo un'analisi dei componenti principali su questi dati e il mio obiettivo è capire cosa vedo. So che l'obiettivo …

9 pca interpretation k-means dimensionality-reduction

2

È consentito utilizzare le medie su un set di dati per migliorare la correlazione?

Ho un set di dati con una variabile dipendente e una indipendente. Entrambi non sono una serie temporale. Ho 120 osservazioni. Il coefficiente di correlazione è 0,43 Dopo questo calcolo, ho aggiunto una colonna per entrambe le variabili con la media per ogni 12 osservazioni, risultando in 2 nuove colonne …

9 regression correlation mean predictor cross-section