Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

2
Come raggruppare le serie temporali?
Ho una domanda sull'analisi dei cluster. Ci sono 3000 aziende che devono essere raggruppate in base al loro consumo di energia nell'arco di 5 anni. Ogni azienda ha valori per ogni ora per 5 anni. Vorrei scoprire se alcune società hanno lo stesso modello di potere d'uso nel periodo di …
5
Teorema dell'intuizione di Bayes
Ho cercato di sviluppare una comprensione basata sull'intuizione del teorema di Bayes in termini di probabilità anteriore , posteriore , di probabilità e marginale . Per questo uso la seguente equazione: dove rappresenta un'ipotesi o una convinzione e rappresenta dati o prove. Ho capito il concetto di posteriore - è …
4
Perché l'output di softmax non è una buona misura di incertezza per i modelli di Deep Learning?
Lavoro con Convolutional Neural Networks (CNN) da qualche tempo, principalmente su dati di immagine per la segmentazione semantica / segmentazione di istanza. Ho spesso visualizzato il softmax dell'output di rete come una "mappa di calore" per vedere quanto sono alte le attivazioni per pixel per una determinata classe. Ho interpretato …
5
Regressione polinomiale grezza o ortogonale?
Voglio regredire una variabile yyy su x,x2,…,x5x,x2,…,x5x,x^2,\ldots,x^5 . Dovrei farlo usando polinomi grezzi o ortogonali? Ho esaminato la domanda sul sito che tratta di questi, ma non capisco davvero quale sia la differenza tra il loro utilizzo. Perché non posso semplicemente fare una regressione "normale" per ottenere i coefficienti βiβi\beta_i …
1
Eliminazione di una delle colonne quando si utilizza la codifica a caldo
La mia comprensione è che nell'apprendimento automatico può essere un problema se il tuo set di dati ha caratteristiche altamente correlate, poiché codificano effettivamente le stesse informazioni. Recentemente qualcuno ha sottolineato che quando si esegue la codifica one-hot su una variabile categoriale si finisce con funzionalità correlate, quindi è necessario …
2
È possibile applicare PCA per i dati di serie storiche?
Comprendo che l'analisi dei componenti principali (PCA) può essere applicata sostanzialmente per i dati trasversali. La PCA può essere utilizzata in modo efficace per i dati delle serie temporali specificando l'anno come variabile della serie temporale ed eseguendo normalmente la PCA? Ho scoperto che la PCA dinamica funziona per i …
22 time-series  pca 
2
Perché il nome "kernel" in stats e ML?
Questo è stato posto su altri siti SE nel contesto dei sistemi operativi e dell'algebra lineare, ma la stessa domanda mi dà fastidio riguardo ai metodi del kernel usati nelle statistiche e nell'apprendimento automatico. Spesso si dice che i kernel, ad esempio nella stima della densità del kernel o nelle …
3
C'è qualche differenza tra frequentista e bayesiano nella definizione di verosimiglianza?
Alcune fonti affermano che la funzione di verosimiglianza non è una probabilità condizionata, altre lo dicono. Questo è molto confuso per me. Secondo la maggior parte delle fonti che ho visto, la probabilità di una distribuzione con il parametro dovrebbe essere un prodotto delle funzioni di massa di probabilità dati …
4
Data la dimensione del campione abbastanza grande, un test mostrerà sempre risultati significativi a meno che la dimensione reale dell'effetto sia esattamente zero. Perché?
Sono curioso di una richiesta fatta nell'articolo di Wikipedia sulla dimensione dell'effetto . In particolare: [...] un confronto statistico non nullo mostrerà sempre risultati statisticamente significativi a meno che la dimensione dell'effetto della popolazione non sia esattamente zero Non sono sicuro di cosa significhi / implichi, per non parlare di …
4
Qual è lo scopo di riportare statistiche descrittive?
Ho appena effettuato un'analisi dei miei dati utilizzando la regressione logistica, tuttavia mi viene anche richiesto di avere una parte descrittiva delle statistiche nel mio rapporto. Onestamente non vedo il punto in questo e speravo che qualcuno potesse essere in grado di spiegare perché è necessario. Ad esempio, se tracciamo …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.