Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

4
ANOVA vs regressione lineare multipla? Perché l'ANOVA è così comunemente usato negli studi sperimentali?
ANOVA vs regressione lineare multipla? Comprendo che entrambi questi metodi sembrano utilizzare lo stesso modello statistico. Tuttavia, in quali circostanze dovrei usare quale metodo? Quali sono i vantaggi e gli svantaggi di questi metodi rispetto? Perché l'ANOVA è così comunemente usato negli studi sperimentali e non trovo quasi mai uno …
3
Perché le correzioni multiple di ipotesi non sono applicate a tutti gli esperimenti fin dagli albori dei tempi?
Sappiamo che dobbiamo applicare correzioni tipo Benjamini Hochberg per test di ipotesi multiple su esperimenti basati su un singolo set di dati, al fine di controllare il tasso di scoperta falsa, altrimenti tutti gli esperimenti che danno un risultato positivo potrebbero essere falsi. Ma perché non applichiamo questo stesso principio …
2
Passare dalla modellazione di un processo utilizzando una distribuzione di Poisson per utilizzare una distribuzione binomiale negativa?
\newcommand{\P}{\mathbb{P}} Abbiamo un processo casuale che può-o-può-non si verificano più volte in un determinato periodo di tempo TTT . Abbiamo un feed di dati da un modello preesistente di questo processo, che fornisce la probabilità che si verifichino numerosi eventi nel periodo 0≤t&lt;T0≤t&lt;T0 \leq t < T . Questo modello …
2
Il paradosso dei dati iid (almeno per me)
Per quanto riguarda la mia aggregati (e scarse) conoscenze sulle statistiche permessi, ho capito che se X1,X2,...,XnX1,X2,...,XnX_1, X_2,..., X_n sono variabili casuali, quindi come implica il termine sono indipendenti e identicamente distribuite. La mia preoccupazione qui è l'ex di proprietà di campioni iid, in cui si legge: p(Xn|Xi1,Xi2,...,Xik)=p(Xn),p(Xn|Xi1,Xi2,...,Xik)=p(Xn),p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}), …
2
Bag-of-Words per la classificazione del testo: perché non usare solo le frequenze delle parole invece del TFIDF?
Un approccio comune alla classificazione del testo è quello di formare un classificatore fuori da un "bag-of-word". L'utente prende il testo per essere classificato e conta le frequenze delle parole in ciascun oggetto, seguito da una sorta di taglio per mantenere la matrice risultante di dimensioni gestibili. Vedo spesso che …
4
Cosa possiamo imparare sul cervello umano dalle reti neurali artificiali?
So che la mia domanda / titolo non è molto specifica, quindi cercherò di chiarirla: Le reti neurali artificiali hanno progetti relativamente rigidi. Naturalmente, generalmente, sono influenzati dalla biologia e cercano di costruire un modello matematico di reti neurali reali, ma la nostra comprensione delle reti neurali reali non è …
3
Perché le trasformazioni di potenza o di registro non vengono insegnate molto nell'apprendimento automatico?
L'apprendimento automatico (ML) utilizza fortemente le tecniche di regressione lineare e logistica. Essa si basa anche su tecniche di ingegneria funzione ( feature transform, kernel, ecc). Perché non si parla di variable transformation(ad esempio power transformation) in ML? (Ad esempio, non ho mai sentito parlare di root o log su …
1
Qual è la probabilità che punti casuali in dimensioni siano linearmente separabili?
Dati punti dati, ognuno con caratteristiche, sono etichettati come , l'altro sono etichettati come . Ogni caratteristica prende un valore da modo casuale (distribuzione uniforme). Qual è la probabilità che esista un iperpiano che può dividere le due classi?nnndddn / 2n/2n/2000n / 2n/2n/2111[ 0 , 1 ][0,1][0,1] Consideriamo prima il …
4
Algoritmi per il rilevamento di anomalie di serie storiche
Attualmente sto usando AnomalyDetection di Twitter in R: https://github.com/twitter/AnomalyDetection . Questo algoritmo fornisce il rilevamento delle anomalie delle serie temporali per i dati con stagionalità. Domanda: ci sono altri algoritmi simili a questo (il controllo della stagionalità non ha importanza)? Sto cercando di assegnare il maggior numero possibile di algoritmi …
2
Lazo bayesiano vs lazo ordinario
Sono disponibili diversi software di implementazione per il lazo . So molto discusso sull'approccio bayesiano contro l'approccio frequentista in diversi forum. La mia domanda è molto specifica per il lazo: quali sono le differenze o i vantaggi del lazo baaysiano rispetto al lazo normale ? Ecco due esempi di implementazione …
1
Interpretazione geometrica del coefficiente di correlazione multipla e coefficiente di determinazione
Sono interessato al significato geometrico della correlazione multipla e del coefficiente di determinazione nella regressione o in notazione vettoriale,RRRR2R2R^2yi=β1+β2x2,i+⋯+βkxk,i+ϵiyi=β1+β2x2,i+⋯+βkxk,i+ϵiy_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i y=Xβ+ϵy=Xβ+ϵ\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon} Qui la matrice di progettazione XX\mathbf{X} ha nnn righe e kkk colonne, di …
1
Un Multinomiale (1 / n,…, 1 / n) può essere caratterizzato come Dirichlet discretizzato (1, .., 1)?
Quindi questa domanda è leggermente disordinata, ma includerò grafici colorati per compensare quello! Prima lo sfondo e poi le domande. sfondo Supponi di avere una distribuzione multinomiale dimensionale con probabilità uguali sulle categorie. Sia i conteggi normalizzati ( ) di quella distribuzione, ovvero:n nnn nnπ = ( π 1 , …
2
I codificatori automatici non possono apprendere funzioni significative
Ho 50.000 immagini come queste due: Rappresentano grafici di dati. Volevo estrarre funzionalità da queste immagini, quindi ho usato il codice di autoencoder fornito da Theano (deeplearning.net). Il problema è che questi codificatori automatici non sembrano apprendere alcuna funzionalità. Ho provato RBM ed è lo stesso. Il set di dati …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.