Statistiche e Big Data

1

In che modo gli SVM = corrispondenza dei modelli?

Ho letto di SVM e ho appreso che stanno risolvendo un problema di ottimizzazione e l'idea del margine massimo era molto ragionevole. Ora, usando i kernel, riescono a trovare anche i confini di separazione non lineari, il che era grandioso. Finora, non ho davvero idea di come SVM (una macchina …

10 machine-learning neural-networks svm deep-learning kernel-trick

1

Perché prevedere da un modello di effetti misti senza includere effetti casuali per la previsione?

Questa è più una domanda concettuale, ma mentre uso Rfarò riferimento ai pacchetti in R. Se l'obiettivo è quello di adattare un modello lineare ai fini della previsione, e quindi fare previsioni in cui gli effetti casuali potrebbero non essere disponibili, ci sono dei vantaggi nell'utilizzare un modello a effetti …

10 r multiple-regression mixed-model lme4-nlme

1

K-significa: quante iterazioni in situazioni pratiche?

Non ho esperienza nel settore del data mining o dei big data, quindi mi piacerebbe sentirti condividere qualche esperienza. Le persone eseguono effettivamente k-mean, PAM, CLARA, ecc. Su un set di dati davvero grande? Oppure scelgono a caso un campione da esso? Se prendessero solo un campione del set di …

10 clustering data-mining k-means convergence large-data

3

Perché la dinamica hamiltoniana è migliore della proposta di camminata casuale in MCMC in alcuni casi?

In alcuni casi, la dinamica hamiltoniana supera sempre la camminata casuale nell'algoritmo Metropolis. Qualcuno potrebbe spiegare il motivo con parole semplici senza troppa matematica?

10 mcmc

3

Funzione di perdita per la segmentazione semantica

Si scusa per l'uso improprio di termini tecnici. Sto lavorando a un progetto di segmentazione semantica tramite reti neurali convoluzionali (CNN); cercando di implementare un'architettura di tipo Encoder-Decoder, quindi l'output ha le stesse dimensioni dell'input. Come si progettano le etichette? Quale funzione di perdita si dovrebbe applicare? Soprattutto nella situazione …

10 conv-neural-network image-processing segmentation

2

Indice Rand rettificato vs Informazioni reciproche adeguate

Sto cercando di valutare le prestazioni del clustering. Stavo leggendo la documentazione di skiscit-learn sulle metriche . Non capisco la differenza tra ARI e AMI. Mi sembra che facciano la stessa cosa in due modi diversi. Citando dalla documentazione: Data la conoscenza delle assegnazioni della classe di verità di base …

10 clustering python scikit-learn

2

Nei modelli normale e binomiale, la varianza posteriore è sempre inferiore alla varianza precedente?

O quali condizioni lo garantiscono? In generale (e non solo modelli normali e binomiali) suppongo che il motivo principale che ha infranto questa affermazione è che c'è incoerenza tra il modello di campionamento e il precedente, ma cos'altro? Sto iniziando con questo argomento, quindi apprezzo molto gli esempi semplici

10 bayesian variance information-theory

2

Teorema del limite centrale per le catene di Markov

\newcommand{\E}{\mathbb{E}}\newcommand{\P}{\mathbb{P}} Il Teorema del limite centrale (CLT) afferma che per indipendenti e identicamente distribuiti (iid) con e , la somma converge in una distribuzione normale come : X1,X2,…X1,X2,…X_1,X_2,\dotsE[Xi]=0E[Xi]=0\E[X_i]=0Var(Xi)<∞Var⁡(Xi)<∞\operatorname{ Var} (X_i)<\inftyn→∞n→∞n\to\infty∑i=1nXi→N(0,n−−√).∑i=1nXi→N(0,n). \sum_{i=1}^n X_i \to N\left(0, \sqrt{n}\right). Supponiamo invece che formino una catena di Markov a stati finiti con una distribuzione stazionaria …

10 markov-process central-limit-theorem

1

RNN con L2 La regolarizzazione interrompe l'apprendimento

Uso RNN bidirezionale per rilevare un evento di evento sbilanciato. La classe positiva è 100 volte meno spesso della classe negativa. Sebbene non sia possibile utilizzare la regolarizzazione, posso ottenere una precisione del 100% sul set di treni e del 30% sul set di convalida. Attivo la regolarizzazione l2 e …

10 neural-networks deep-learning regularization rnn

4

L'AUC è la probabilità di classificare correttamente un'istanza selezionata casualmente da ciascuna classe?

Ho letto questa didascalia in un documento e non ho mai visto l'AUC descritta in questo modo altrove. È vero? Esiste un modo semplice o prova per vederlo? La Fig. 2 mostra l'accuratezza della predizione delle variabili dicotomiche espresse in termini dell'area sotto la curva caratteristica operativa del ricevitore (AUC), …

10 classification roc auc

1

Analisi complessa, analisi funzionale per una comprensione più profonda del machine learning

Voglio approfondire l'apprendimento automatico (teoria e applicazione in finanza). Voglio chiederti quanto sono rilevanti l' analisi complessa e l' analisi funzionale come base per l'apprendimento automatico? Devo imparare queste materie o dovrei concentrarmi su un altro argomento (se sì, su quale?)

10 machine-learning pac-learning

3

Calcolo della distribuzione da min, media e max

Supponiamo che io abbia il minimo, medio e massimo di alcuni set di dati, diciamo 10, 20 e 25. C'è un modo per: creare una distribuzione da questi dati e sapere quale percentuale della popolazione si trova probabilmente sopra o sotto la media Modificare: Come suggerito da Glen, supponiamo di …

10 distributions standard-deviation mean maximum minimum

4

Il modo migliore per seminare N generatori di numeri casuali indipendenti da 1 valore

Nel mio programma ho bisogno di eseguire N thread separati ciascuno con il proprio RNG che viene utilizzato per campionare un set di dati di grandi dimensioni. Devo essere in grado di seminare l'intero processo con un singolo valore in modo da poter riprodurre i risultati. È sufficiente aumentare semplicemente …

10 python monte-carlo random-generation numpy

2

Test dell'assunzione di rischi proporzionali nei modelli parametrici

Sono a conoscenza di testare l'assunzione di rischi proporzionali nel contesto dei modelli Cox PH, ma non ho riscontrato nulla relativo ai modelli parametrici? Esiste un modo fattibile per testare l'assunzione di PH di alcuni modelli parametrici? Sembra che ci dovrebbe essere dato che i modelli parametrici sono solo leggermente …

10 survival assumptions proportional-hazards

2

Definizione frequentista di probabilità; esiste una definizione formale?

Esiste una definizione formale (matematica) di ciò che i frequentatori comprendono sotto "probabilità"? Ho letto che è la frequenza relativa dell'occorrenza '' a lungo termine '', ma esiste un modo formale per definirla? Ci sono riferimenti noti dove posso trovare quella definizione? MODIFICARE: Con frequentista (vedi il commento di @whuber …

10 probability frequentist definition