Statistiche e Big Data

Ho questo progetto laterale in cui eseguo la scansione dei siti di notizie locali nel mio paese e voglio costruire un indice di criminalità e un indice di instabilità politica. Ho già coperto la parte relativa al recupero delle informazioni del progetto. Il mio piano è di fare: Estrazione di …

17 machine-learning  classification  text-mining 

qual è il pdf del prodotto di due variabili casuali indipendenti X e Y, se X e Y sono indipendenti? X è distribuito normalmente e Y è distribuito chi-quadrato. Z = XY se ha una distribuzione normale e ha distribuzione Chi- con grado di libertà dove è la funzione di …

17 normal-distribution  chi-squared  random-variable 

Sto cercando consigli / risorse / raccomandazioni su come formattare al meglio i grafici per le presentazioni. Per esperienza, so che un grafico prodotto per la stampa non "scala" molto bene quando lo si visualizza con un proiettore. Il testo è spesso troppo piccolo, le linee non abbastanza spesse ecc. …

17 data-visualization 

Ho condotto una valutazione computerizzata dei diversi metodi di adattamento a un particolare tipo di modello utilizzato nelle scienze del paleo. Avevo un set di addestramento di grandi dimensioni e quindi ho casualmente (campionamento casuale stratificato) messo da parte un set di test. Ho montato metodi diversi per i campioni …

17 r  mixed-model  multiple-comparisons  simulation  independence 

Esiste un tale pacchetto che prevede la stima del modello di effetti misti binomiali negativi a zero inflazionati in R? Con ciò intendo: Inflazione zero in cui è possibile specificare il modello binomiale per l'inflazione zero, come nella funzione zeroinfl nel pacchetto pscl: zeroinfl (y ~ X | Z, dist …

17 r  mixed-model  count-data  negative-binomial  zero-inflation 

Una volta mi sono imbattuto in un tipo di trama per dati categorici (ad esempio, tabelle di contingenza) su Internet, che mi è davvero piaciuto, ma non l'ho mai trovato di nuovo, e non so nemmeno come si chiama. Era essenzialmente come una trama del setaccio, in quanto le altezze …

17 r  data-visualization  categorical-data 

Ho due gruppi di soggetti, A e B, ciascuno con una dimensione di circa 400 e circa 300 predittori. Il mio obiettivo è costruire un modello di previsione per una variabile di risposta binaria. Il mio cliente vuole vedere il risultato dell'applicazione del modello costruito da A su B. (Nel …

17 pca  logistic  predictive-models  robust 

Data una variabile dipendente continua y e variabili indipendenti tra cui una variabile ordinale X 1 , come posso inserire un modello lineare in R? Ci sono documenti su questo tipo di modello?

17 r  regression  lasso  ordinal-data  predictor 

Ciò è in parte motivato dalla seguente domanda e dalla discussione che segue. Supponiamo che il campione iid sia osservato, . L'obiettivo è stimare . Ma il campione originale non è disponibile. Quello che abbiamo invece sono alcune statistiche del campione . Supponiamo che sia corretto. Come stimiamo ? Quale …

17 estimation  maximum-likelihood 

Sospetto che una serie di sequenze osservate siano una catena di Markov ... X=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AAD⋮BCA⋮E⎞⎠⎟⎟⎟⎟X=(ACDDBACBAACADA⋮⋮⋮⋮⋮⋮⋮BCADABE)X=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&D &A\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & E\\ \end{array}\right) Tuttavia, come posso verificare che …

17 markov-process 

Sto implementando Ridge Regression in un modulo Python / C, e ho riscontrato questo "piccolo" problema. L'idea è che voglio campionare i gradi di libertà effettivi più o meno equamente distanziati (come la trama a pagina 65 su "Elementi di apprendimento statistico" ), cioè campione: df(λ)=∑i=1pd2id2i+λ,df(λ)=∑i=1pdi2di2+λ,\mathrm{df}(\lambda)=\sum_{i=1}^{p}\frac{d_i^2}{d_i^2+\lambda},d2idi2d_i^2XTXXTXX^TXdf(λmax)≈0df(λmax)≈0\mathrm{df}(\lambda_{\max})\approx 0df(λmin)=pdf(λmin)=p\mathrm{df}(\lambda_{\min})=pλmax=∑pid2i/cλmax=∑ipdi2/c\lambda_{\max}=\sum_i^p d_i^2/cλmax≫d2iλmax≫di2\lambda_{\max} \gg d_i^2cccc=0.1c=0.1c=0.1λmin=0λmin=0\lambda_{\min}=0 …

17 ridge-regression 

Sto cercando un modo per visualizzare classifiche soggettive, separate dai miei test non parametrici. Ho chiesto a 12 partecipanti di classificare 8 voci diverse in base a diversi criteri soggettivi (classifiche separate per ciascuna). Per ogni singolo set di classifiche, sto cercando un buon modo per visualizzare le tendenze di …

17 data-visualization  nonparametric  excel  ranking 

Se abbiamo una piccola dimensione del campione, la distribuzione precedente influenzerà molto la distribuzione posteriore?

17 bayesian  sample-size  prior 

Robby McKilliam dice in un commento a questo post: Va sottolineato che, dal punto di vista dei frequentisti, non vi è alcun motivo per cui non è possibile incorporare le conoscenze precedenti nel modello. In questo senso, la visione frequentista è più semplice, hai solo un modello e alcuni dati. …

17 bayesian  prior  regularization  frequentist 

Mi piacerebbe vedere un'estensione di questa discussione sull'antico dibattito chi-sq vs. esatto test di Fisher, allargando un po 'l'ambito. Ci sono molti test per le interazioni in una tabella di contingenza, abbastanza per farmi girare la testa. Spero di ottenere una spiegazione di quale test dovrei usare e quando, e …

17 r  chi-squared  contingency-tables