Statistiche e Big Data

2

Quando utilizzare i metodi di regolarizzazione per la regressione?

In quali circostanze si dovrebbe considerare l'utilizzo di metodi di regolarizzazione (cresta, regressione del lasso o degli angoli minimi) anziché OLS? Nel caso in cui ciò aiuti a guidare la discussione, il mio interesse principale è il miglioramento della precisione predittiva.

83 regression least-squares lasso ridge-regression fused-lasso

7

Pregiudizio e varianza nella validazione incrociata con esclusione K vs piega

Come si confrontano i diversi metodi di convalida incrociata in termini di varianza e distorsione del modello? La mia domanda è in parte motivata da questa discussione: Numero ottimale di pieghe nella convalida incrociata fold: il CV congedo unico è sempre la scelta migliore? KKK. La risposta suggerisce che i …

83 machine-learning variance cross-validation bias bias-variance-tradeoff

5

Percentile vs quantile vs quartile

Qual è la differenza tra i tre termini seguenti? percentile quantile quartile

83 descriptive-statistics quantiles median percentage

14

Perché statistiche solide (e resistenti) non hanno sostituito le tecniche classiche?

Quando si risolvono i problemi aziendali utilizzando i dati, è comune che almeno un'ipotesi chiave secondo cui le statistiche classiche sottostanti non siano valide. Il più delle volte, nessuno si preoccupa di controllare quei presupposti in modo da non saperlo mai. Ad esempio, il fatto che molte delle metriche web …

82 model-selection nonparametric outliers robust philosophical

8

La linea della migliore vestibilità non sembra una buona vestibilità. Perché?

Dai un'occhiata a questo grafico di Excel: La linea di adattamento "buon senso" sembrerebbe essere una linea quasi verticale attraverso il centro dei punti (modificata a mano in rosso). Tuttavia, la linea di tendenza lineare come deciso da Excel è la linea nera diagonale mostrata. Perché Excel ha prodotto qualcosa …

82 regression excel intuition

2

funzione di attivazione tanh vs funzione di attivazione sigmoid

La funzione di attivazione tanh è: tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Dove σ(x)σ(x)\sigma(x) , la funzione sigmoide, è definita come: σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} . Domande: Importa davvero tra l'uso di queste due funzioni di attivazione (tanh vs. sigma)? Quale …

82 machine-learning neural-networks optimization cost-maximization

5

Che cosa significa una "soluzione a forma chiusa"?

Mi sono imbattuto abbastanza spesso nel termine "soluzione a forma chiusa". Cosa significa una soluzione a forma chiusa? Come si determina se esiste una soluzione in formato stretto per un determinato problema? Cercando online, ho trovato alcune informazioni, ma nulla nel contesto dello sviluppo di un modello / soluzione statistico …

82 regression machine-learning probability terminology stochastic-processes

3

Qual è il lazo nell'analisi di regressione?

Sto cercando una definizione non tecnica del lazo e a cosa serve.

82 regression lasso regularization shrinkage

2

Teorema di Bayes modificato di XKCD: in realtà un po 'ragionevole?

So che proviene da un fumetto famoso per aver approfittato di alcune tendenze analitiche , ma in realtà sembra ragionevole dopo alcuni minuti di fissazione. Qualcuno può descrivere per me cosa sta facendo questo " teorema di Bayes modificato "?

81 bayesian hierarchical-bayesian

4

Qual è la differenza tra i modelli a gonfiaggio zero e quelli a ostacoli?

Mi chiedo se ci sia una netta differenza tra le cosiddette distribuzioni a zero influssi (modelli) e le cosiddette distribuzioni hurdle-a-zero (modelli)? I termini si presentano abbastanza spesso in letteratura e sospetto che non siano gli stessi, ma mi spiegheresti per favore la differenza in termini semplici?

81 zero-inflation

3

Un campione sbilanciato è importante quando si esegue la regressione logistica?

Va bene, quindi penso di avere un campione abbastanza decente, tenendo conto della regola empirica 20: 1: un campione abbastanza grande (N = 374) per un totale di 7 variabili predittive candidate. Il mio problema è il seguente: qualunque sia il set di variabili predittive che utilizzo, le classificazioni non …

81 regression logistic sample-size unbalanced-classes

10

Comprensione intuitiva della "varianza"

Qual è il modo più semplice e pulito per spiegare a qualcuno il concetto di varianza? Cosa significa intuitivamente? Se uno dovesse spiegare questo al proprio figlio come lo farebbe? È un concetto che ho difficoltà a articolare, soprattutto quando si collega la varianza al rischio. Lo capisco matematicamente e …

81 distributions variance standard-deviation inference intuition

6

Ci sono esempi in cui gli intervalli credibili bayesiani sono ovviamente inferiori agli intervalli di confidenza del frequentatore

Una recente domanda sulla differenza tra confidenza e intervalli credibili mi ha portato a iniziare a rileggere l'articolo di Edwin Jaynes su questo argomento: Jaynes, ET, 1976. "Intervalli di confidenza contro intervalli bayesiani", in Fondamenti di teoria della probabilità, inferenza statistica e teorie statistiche della scienza, WL Harper e CA …

81 bayesian confidence-interval

9

Per quanto riguarda i valori p, perché 1% e 5%? Perché non il 6% o il 10%?

Per quanto riguarda il valore p, mi chiedo perché l' % e il % sembrano essere il gold standard per . Perché non altri valori, come il % o il %?111555"statistical significance"666101010 C'è una ragione matematica fondamentale per questo, o è solo una convenzione ampiamente diffusa?

80 hypothesis-testing statistical-significance p-value history

6

Differenza tra intervalli di confidenza e intervalli di previsione

Per un intervallo di previsione nella regressione lineare, usi ancora per generare l'intervallo. Puoi anche usarlo per generare un intervallo di confidenza di . Qual è la differenza tra i due?E[Y| x0]E^[Y|x]=β0^+β^1xE^[Y|x]=β0^+β^1x\hat{E}[Y|x] = \hat{\beta_0}+\hat{\beta}_{1}xE[Y|x0]E[Y|x0]E[Y|x_0]

80 regression confidence-interval predictive-models prediction-interval