Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

Generare pesi distribuiti uniformemente che si sommano all'unità?

È comune utilizzare pesi in applicazioni come la modellazione della miscela e combinare linearmente le funzioni di base. Pesi spesso devono obbedire w i ≥ 0 e Σ i w i = 1 . Vorrei scegliere casualmente un vettore di peso w = ( w 1 , w 2 , …

14 random-generation

Esempi di mining di testo con R (pacchetto tm)

Ho trascorso tre giorni a dilettarmi tmdopo aver letto una bozza di un amico in cui ha esplorato un corpus di testo con UCINET, mostrando nuvole di testo, grafici di rete a due modalità e decomposizione a valore singolo (con grafica, usando Stata). Ho riscontrato un gran numero di problemi: …

14 r text-mining

Selezione del modello Box-Jenkins

La procedura di selezione del modello Box-Jenkins nell'analisi delle serie temporali inizia osservando le funzioni di autocorrelazione e autocorrelazione parziale delle serie. Questi grafici possono suggerire l'appropriato e q in un ARMA ( p ,pppqqq modello. La procedura continua chiedendo all'utente di applicare i criteri AIC / BIC per selezionare …

14 regression time-series arima model-selection box-jenkins

Come calcolare l'errore di previsione (intervalli di confidenza) per i periodi in corso?

Ho spesso bisogno di prevedere periodi futuri in serie mensili di dati. Sono disponibili formule per calcolare l'intervallo di confidenza alfa per il periodo successivo nelle serie temporali, ma ciò non include mai come trattare il secondo periodo e il terzo, ecc. Immagino visivamente che se una previsione fosse rappresentata …

14 confidence-interval forecasting

Come ottimizzare il livellamento nel modello GAM mgcv

Sto cercando di capire come controllare i parametri di smoothing in un modello di mgcv: gam. Ho una variabile binomiale che sto provando a modellare come principalmente una funzione delle coordinate xey su una griglia fissa, più alcune altre variabili con influenze minori. In passato ho costruito un modello di …

14 r smoothing mgcv

Software (o webapp) per insegnare statistiche o probabilità ai bambini?

Vorrei (in un lontano futuro) insegnare statistiche ai bambini. In ogni caso, sarei felice di conoscere il software (ovviamente mi sto rivolgendo a FOSS), o le webapp, che sono utili per spiegare idee statistiche / probabilistiche ai bambini (o agli adulti per quella materia). Questo può essere usato dall'istruttore, dai …

14 probability references software teaching

Metriche o per il clustering?

Qualcuno usa le metriche o per il clustering anziché ? Aggarwal et al., Sul comportamento sorprendente delle metriche della distanza nello spazio ad alta dimensione, ha detto (nel 2001) cheL1L1L_1L.5L.5L_.5L2L2L_2 L1L1L_1 è decisamente più preferibile della metrica di distanza euclidea per applicazioni di data mining ad alta dimensioneL2L2L_2 e ha …

14 clustering distance-functions rule-of-thumb

In che modo la distribuzione del termine di errore influisce sulla distribuzione della risposta?

Quindi, quando presumo che i termini di errore siano normalmente distribuiti in una regressione lineare, cosa significa per la variabile di risposta, yyy ?

14 regression distributions

Spiegazione intuitiva della stazionarietà

Stavo lottando con la stazionarietà nella mia testa per un po '... È così che ci pensi? Eventuali commenti o ulteriori pensieri saranno apprezzati. Il processo stazionario è quello che genera valori di serie temporali in modo tale che la media di distribuzione e la varianza siano mantenute costanti. A …

14 time-series stationarity intuition

Ha senso che una correlazione parziale sia maggiore di una correlazione di ordine zero?

Ciò sta probabilmente dimostrando una fondamentale mancanza di comprensione di come funzionano le correlazioni parziali. Ho 3 variabili, x, y, z. Quando controllo per z, la correlazione tra xey aumenta rispetto alla correlazione tra xey quando z non è stata controllata per. ha senso? Tendo a pensare che quando si …

14 correlation

Vale la pena modellare le serie storiche brevi?

Ecco un po 'di contesto. Sono interessato a determinare in che modo due variabili ambientali (temperatura, livelli di nutrienti) influiscono sul valore medio di una variabile di risposta in un periodo di 11 anni. All'interno di ogni anno sono disponibili dati provenienti da oltre 100.000 località. L'obiettivo è determinare se, …

14 time-series regression sample-size small-sample

Perché Excel e WolframAlpha danno valori diversi per l'asimmetria

per i seguenti 3 valori 222.1122,45444 WolframAlpha dà 0,706 Excel, usando =SKEW(222,1122,45444)dà 1.729 Cosa spiega la differenza?

14 excel software descriptive-statistics mathematica

Quando si vorrebbe usare AdaBoost?

Come ho sentito parlare del classificatore AdaBoost più volte menzionato al lavoro, volevo avere un'idea migliore di come funziona e quando si potrebbe desiderare di usarlo. Sono andato avanti e ho letto una serie di articoli e tutorial che ho trovato su Google, ma ci sono aspetti del classificatore che …

14 machine-learning boosting adaboost

Scrambling e correlazione in sequenze a bassa discrepanza (Halton / Sobol)

Attualmente sto lavorando a un progetto in cui generi valori casuali utilizzando insiemi di punti a bassa discrepanza / quasi casuali , come gli insiemi di punti Halton e Sobol. Questi sono essenzialmente vettori dimensionali che imitano le variabili uniformi dimensionali (0,1), ma hanno una diffusione migliore. In teoria, dovrebbero …

14 hypothesis-testing monte-carlo random-generation randomness

Confronto tra coefficienti logistici su modelli con diverse variabili dipendenti?

Questa è una domanda di follow-up da quella che ho posto un paio di giorni fa . Sento che pone una diversa inclinazione sul problema, quindi ho elencato una nuova domanda. La domanda è: posso confrontare l'entità dei coefficienti tra i modelli con diverse variabili dipendenti? Ad esempio, su un …

14 regression logistic

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.

Licensed under cc by-sa 3.0 with attribution required.