Statistiche e Big Data

1

Comprensione del teorema del pranzo libero nella Classificazione dei modelli di Duda et al

Ho alcune domande sulle notazioni utilizzate nella Sezione 9.2 Mancanza di superiorità intrinseca di qualsiasi classificatore nella classificazione dei modelli di Duda, Hart e Stork . Prima di tutto lasciatemi citare alcuni testi pertinenti del libro: Per semplicità si consideri un problema di due categorie, in cui l'insieme di addestramento …

12 machine-learning

1

Un set di addestramento scarso influisce negativamente su un SVM?

Sto cercando di classificare i messaggi in diverse categorie usando un SVM. Ho compilato un elenco di parole / simboli desiderabili dal set di addestramento. Per ogni vettore, che rappresenta un messaggio, ho impostato la riga corrispondente su 1se la parola è presente: "corpus" è: [mary, little, lamb, star, twinkle] …

12 classification svm sparse

2

Applicazione dell'apprendimento automatico per il filtro DDoS

Nel corso di Machine Learning di Stanford, Andrew Ng ha menzionato l'applicazione dell'ML in IT. Qualche tempo dopo, quando ho ottenuto DDoS di dimensioni moderate (circa 20k bot) sul nostro sito, ho deciso di lottare contro di esso usando un semplice classificatore di reti neurali. Ho scritto questo script Python …

12 classification neural-networks unsupervised-learning

2

Ingegnerizzazione di caratteristiche indipendenti dal dominio che conserva un significato semantico?

L'ingegnerizzazione delle funzionalità è spesso un componente importante dell'apprendimento automatico (è stato utilizzato pesantemente per vincere la Coppa KDD nel 2010 ). Tuttavia, trovo che anche la maggior parte delle tecniche di ingegneria delle caratteristiche distruggere qualsiasi significato intuitivo delle funzionalità sottostanti o sono molto specifici per un determinato dominio …

12 predictive-models feature-selection feature-construction

2

Regolazione del valore p per l'analisi sequenziale adattiva (per il test del chi quadro)?

Vorrei sapere quale letteratura statistica è rilevante per il seguente problema e forse anche un'idea su come risolverlo. Immagina il seguente problema: Abbiamo 4 possibili trattamenti per alcune malattie. Al fine di verificare quale trattamento è meglio, eseguiamo una prova speciale. Nel processo, iniziamo senza avere soggetti, quindi, uno per …

12 hypothesis-testing chi-squared p-value multiple-comparisons sequential-analysis

4

Analisi di potenza per regressione logistica ordinale

Sto cercando un programma (in R o SAS o standalone, se gratuito o a basso costo) che farà analisi di potenza per la regressione logistica ordinale.

12 logistic power-analysis ordered-logit

2

Prevedere più obiettivi o classi?

Supponiamo che stia costruendo un modello predittivo in cui sto cercando di prevedere eventi multipli (ad esempio, sia il lancio di un dado che il lancio di una moneta). La maggior parte degli algoritmi che conosco funzionano con un solo obiettivo, quindi mi chiedo se esiste un approccio standard a …

12 machine-learning classification predictive-models multi-class

1

Qual è l'ordine di correlazione?

Cosa si esprime con i termini zeroth-, first-, second-, second-, etc. order of correlation? Grazie!

12 correlation

2

SVM, interazione variabile e dati di allenamento adeguati

Ho 2 domande generali / più teoriche. 1) Sono curioso di sapere come gli SVM gestiscono le interazioni variabili durante la creazione di modelli predittivi. Ad esempio, se ho due funzioni f1 e f2 e il target dipende da f1, f2 e dico f1 * f2 (o alcune funzioni h …

12 machine-learning predictive-models svm interaction

1

Nome dell'errore assoluto medio analogo al punteggio di Brier?

La domanda di ieri Determinare l'accuratezza del modello che stima la probabilità dell'evento mi ha incuriosito dal punteggio di probabilità. Il punteggio di Brier è una misura di errore al quadrato medio. La misura dell'errore assoluto medio analogo misura11NΣi = 1N( p r e dI c t i o nio- …

12 classification error validation scoring-rules brier-score

1

Determinare l'accuratezza del modello che stima la probabilità dell'evento

Sto modellando un evento con due esiti, a e b. Ho creato un modello che stima la probabilità che accada aob (ovvero il modello calcolerà che a accadrà con una probabilità del 40% e che accadrà con una probabilità del 60%). Ho un ampio record di risultati delle prove con …

12 predictive-models scoring-rules

2

RFM e modellazione del valore della durata del cliente in R

Qualcuno può dirmi come fare la modellazione di recency, frequenza e valore monetario (RFM) e modellazione del valore del cliente in R? Inoltre, qualcuno può riferirmi della letteratura su di esso?

12 r references marketing

3

Calcolo della modalità dei dati campionati da una distribuzione continua

Quali sono i metodi migliori per adattare la 'modalità' di dati campionati da una distribuzione continua? Dato che la modalità è tecnicamente indefinita (giusto?) Per una distribuzione continua, sto davvero chiedendo "come trovi il valore più comune"? Se si presume che la distribuzione padre sia gaussiana, è possibile eseguire il …

12 distributions fitting mode

3

Set di dati illustrativi e analisi per la modellazione multilivello

Di recente ho seguito un corso introduttivo sulla modellazione multilivello. La maggior parte dei set di dati e degli esempi che abbiamo usato provenivano dalle scienze sociali. Ho appena fatto uno stage di 2 settimane in un dipartimento di biostatistica, dove vogliono che io inizi un progetto sulla variazione a …

12 r stata multilevel-analysis epidemiology

1

Qual è la funzione di costo migliore per un albero forestale casuale: indice Gini o entropia?

Qual è la funzione di costo migliore per un albero forestale casuale: indice Gini o entropia? Sto cercando di implementare una foresta casuale a Clojure.

12 classification random-forest cart