I gradi di libertà possono essere un numero non intero?

Quando uso GAM, mi dà DF residuo è (ultima riga nel codice). Cosa significa? Andando oltre l'esempio GAM, in generale, il numero di gradi di libertà può essere un numero non intero? $26.6$

> library(gam)
> summary(gam(mpg~lo(wt),data=mtcars))

Call: gam(formula = mpg ~ lo(wt), data = mtcars)
Deviance Residuals:
    Min      1Q  Median      3Q     Max 
-4.1470 -1.6217 -0.8971  1.2445  6.0516 

(Dispersion Parameter for gaussian family taken to be 6.6717)

    Null Deviance: 1126.047 on 31 degrees of freedom
Residual Deviance: 177.4662 on 26.6 degrees of freedom
AIC: 158.4294 

Number of Local Scoring Iterations: 2 

Anova for Parametric Effects
            Df Sum Sq Mean Sq F value    Pr(>F)    
lo(wt)     1.0 847.73  847.73  127.06 1.239e-11 ***
Residuals 26.6 177.47    6.67

r degrees-of-freedom gam machine-learning pca lasso probability self-study bootstrap expected-value regression machine-learning linear-model probability simulation random-generation machine-learning distributions svm libsvm classification pca multivariate-analysis feature-selection archaeology r regression dataset simulation r regression time-series forecasting predictive-models r mean sem lavaan machine-learning regularization regression conv-neural-network convolution classification deep-learning conv-neural-network regression categorical-data econometrics r confirmatory-factor scale-invariance self-study unbiased-estimator mse regression residuals sampling random-variable sample probability random-variable convergence r survival weibull references autocorrelation hypothesis-testing distributions correlation regression statistical-significance regression-coefficients univariate categorical-data chi-squared regression machine-learning multiple-regression categorical-data linear-model pca factor-analysis factor-rotation classification scikit-learn logistic p-value regression panel-data multilevel-analysis variance bootstrap bias probability r distributions interquartile time-series hypothesis-testing normal-distribution normality-assumption kurtosis arima panel-data stata clustered-standard-errors machine-learning optimization lasso multivariate-analysis ancova machine-learning cross-validation

— Haitao Du
fonte

In generale, sì, df può essere un numero in virgola mobile.

— David Lane,

Probabilmente intendi chiedere il numero reale (o un numero non intero); un numero in virgola mobile è un concetto di computer (un modo di approssimare i numeri reali) che si riferisce all'implementazione ma stai davvero chiedendo l'idea matematica sottostante (e quindi è meglio porre una domanda matematica). Spesso si incontrano situazioni in cui (per una ragione o per l'altra, non sempre buona) una quantità che è concettualmente un numero intero è comunque in fase di implementazione memorizzata come un numero in virgola mobile. Suggerisco "Un modello può avere gradi di libertà non interi?" per il titolo.

— Glen_b

I gradi di libertà sono non interi in numerosi contesti. Infatti in alcune circostanze è possibile stabilire che i gradi di libertà per adattare i dati per alcuni modelli particolari devono essere compresi tra un certo valore e . $k$ $k+1$

Di solito pensiamo ai gradi di libertà come al numero di parametri liberi, ma ci sono situazioni in cui i parametri non sono completamente liberi e possono quindi essere difficili da contare. Ciò può accadere durante il livellamento / regolarizzazione, ad esempio.

I casi di regressione ponderata localmente / metodi del kernel e spline uniformi sono esempi di tale situazione: un numero totale di parametri liberi non è qualcosa che puoi facilmente contare sommando i predittori, quindi è necessaria un'idea più generale dei gradi di libertà.

Nei modelli di additivi generalizzati su cui gamsi basa in parte, Hastie e Tibshirani (1990) [1] (e in effetti in numerosi altri riferimenti) per alcuni modelli in cui possiamo scrivere , i gradi di libertà sono talvolta considerati (discutono anche di o ). Il primo è coerente con l'approccio più usuale in cui entrambi funzionano (ad es. In regressione, dove in situazioni normali sarà la dimensione della colonna di ), ma quando è simmetrico e idempotente, tutti e tre le formule sono le stesse. $\hat y = Ay$ $\operatorname{tr}(A)$ $\operatorname{tr}(AA^T)$ $\operatorname{tr}(2A-AA^T)$ $\operatorname{tr}(A)$ $X$ $A$

[Non ho questo riferimento a portata di mano per controllare abbastanza i dettagli; un'alternativa degli stessi autori (oltre a Friedman) di cui è facile procurarsi è Elements of Statistical Learning [2]; vedere ad esempio l'equazione 5.16, che definisce i gradi effettivi di libertà di una spline di smoothing come (nella mia notazione)] $\operatorname{tr}(A)$

Più in generale, Ye (1998) [3] ha definito i gradi di libertà generalizzati come , che è la somma delle sensibilità dei valori adattati alle loro corrispondenti osservazioni. A sua volta, ciò è coerente con dove funziona quella definizione. Per usare la definizione di Ye devi solo essere in grado di calcolare e perturbare i dati di una piccola quantità (al fine di calcolare numericamente). Questo lo rende ampiamente applicabile. $\sum_i \frac{\partial \hat y_i}{\partial y_i}$ $\operatorname{tr}(A)$ $\hat y$ $\frac{\partial \hat y_i}{\partial y_i}$

Per i modelli come quelli montati da gam, quelle varie misure non sono generalmente intere.

(Consiglio vivamente di leggere la discussione di questi riferimenti su questo argomento, sebbene la storia possa diventare piuttosto complicata in alcune situazioni. Vedi, ad esempio [4])

[1] Hastie, T. e Tibshirani, R. (1990),
Generalized Additive Models
London: Chapman and Hall.

[2] Hastie, T., Tibshirani, R. e Friedman, J. (2009),
The Elements of Statistical Learning: Data Mining, Inference, and Prediction , 2ndEd
Springer-Verlag.
https://statweb.stanford.edu/~tibs/ElemStatLearn/

[3] Ye, J. (1998),
"Sulla misurazione e correzione degli effetti del data mining e selezione dei modelli"
Journal of American Statistical Association , vol. 93, n. 441, pagg. 120-131

[4] Janson, L., Fithian, W. e Hastie, T. (2013),
"Gradi effettivi di libertà: una metafora imperfetta"
https://arxiv.org/abs/1312.7851

— Glen_b - Ripristina Monica
fonte

Non è rilevante in questo caso, ma il test t di due campioni Welch quando le varianze sono disuguali può avere un numero non intero di gradi di libertà.

— Michael R. Chernick,

Come può il df corretto con epsilon nelle misure ripetute ANOVA.

— David Lane,

Un altro riferimento è statweb.stanford.edu/~tibs/ElemStatLearn/printings/… sezione 5.4.1 Gradi di libertà e matrici più fluide

— Adriano,

@Adrian thanks; Avevo deciso se aggiungere solo quel riferimento (e in particolare se menzionare l'eqn 5.16 nella sezione a cui si fa riferimento). Ho concluso che è una buona idea aggiungerlo.

— Glen_b -Reststate Monica