Test di alcuni contrasti: questo è chiaramente un problema difficile o no?

Ho pubblicato questo su mathoverflow e nessuno ha risposto:

Il metodo di Scheffé per identificare contrasti statisticamente significativi è ampiamente noto. Un contrasto tra le , of è una combinazione lineare in cui , e un multiplo scalare di un contrasto è essenzialmente lo stesso contrasto, quindi si potrebbe dire che l'insieme di contrasti è uno spazio proiettivo. Il metodo di Scheffé verifica un'ipotesi nulla secondo cui tutti i contrasti tra queste popolazioni sono e, dato un livello di significatività , rifiuta l'ipotesi nulla con probabilità $\mu_i$ $i=1,\ldots,r$ $r$ $\sum_{i=1}^r c_i \mu_i$ $\sum_{i=1}^r c_i=0$ $r$ $0$ $\alpha$ $\alpha$ dato che l'ipotesi nulla è vera. E se l'ipotesi nulla viene respinta, Scheffé sottolinea che il suo test ci dice che i contrasti differiscono in modo significativo da (non sono sicuro che l'articolo di Wikipedia che ho collegato sottolinea). $0$

Vorrei sapere se si può fare qualcosa di simile in un diverso tipo di situazione. Considera un modello di regressione lineare semplice , dove , . $Y_i = \alpha + \beta x_i + \varepsilon_i$ $\varepsilon_i\sim\operatorname{i.i.d.}N(0,\sigma^2)$ $i=1,\ldots,n$

L'ipotesi nulla che voglio considerare riguarda un diverso tipo di contrasto. Dice che non esiste un sottoinsieme tale che per ed per , dove . Se il sottoinsieme è specificato in anticipo, quindi un normale a due campioni -test lo fa, ma vogliamo qualcosa che considera tutti i sottoinsiemi e tiene giù la probabilità di rifiutare una vera e propria ipotesi nulla. $A\subseteq\lbrace 1,\ldots,n\rbrace$ $E(Y_i) = \alpha_1 + \beta x_i$ $i\in A$ $E(Y_i) = \alpha_2 + \beta x_i$ $i\not\in A$ $\alpha_1\ne\alpha_2$ $A$ $t$

Si potrebbe capire se l'efficienza non fosse un problema: trovare un test che attraversasse tutte le possibilità . Anche allora è problematico; due contrasti non sarebbero indipendenti. Ho chiesto a un esperto di rilevamenti anomali su questo e ha appena detto che è un incubo combinatorio. Poi ho chiesto se si potesse dimostrare che non esiste un modo efficace per farlo, forse riducendo ad esso un problema NP-difficile. Ha appena detto che sta lontano dai problemi NP-difficili. $2^{n-1}-1$

Quindi: si può provare che questo problema è "difficile" o che non lo è?

— Michael Hardy
fonte

(+1) Copia di un commento per chiarimenti dalla versione MO : Solo un piccolo punto di chiarimento: mentre lo leggo,

qualifica secondo la tua ipotesi nulla, ma

non lo fanno (indipendentemente da

). È quello che intendevi? (Non sembra corrispondere ad alcune delle altre allusioni fatte nella domanda.)

(α_{1}, α_{2}, α_{3}) = (1, 2, 3)

$(\alpha_1, \alpha_2, \alpha_3) = (1,2,3)$

(1, 2, 2)

$(1,2,2)$

(1, 1, 1)

$(1,1,1)$

β

$\beta$

— cardinale il

Come affermato sopra, l'ipotesi nulla sarebbe che abbiamo bisogno solo di una

, e l'ipotesi alternativa è che ne abbiamo bisogno di due. Non so perché tu ne abbia un terzo. Si potrebbe anche considerare l'ipotesi nulla di una sola

rispetto all'ipotesi alternativa di diversi, e forse è quello che dovrei fare invece.

α

$\alpha$

α

$\alpha$

— Michael Hardy,

Grazie. Forse sono stato scartato dall'affermazione originale del modello come

, in cui ho considerato

un potenziale errore di battitura per

(poiché successivamente è stato permesso di variare).

Y_{i} = α + β x_{i} + ε_{i}

$Y_i = \alpha + \beta x_i + \varepsilon_i$

α

$\alpha$

α_{i}

$\alpha_i$

— cardinale il

Bene, certamente se tale

dipendesse da

sarebbe un modello troppo parametrizzato, e per nulla simile a quello che normalmente si chiama un "modello di regressione lineare semplice".

α

$\alpha$

i

$i$

— Michael Hardy,

Ho notato che nessuno ha risposto a questa domanda finora ...

Fondamentalmente, la domanda è questa: esiste un vettore 0-1 tale che dia una (significativamente) misura migliore di "Significativamente migliore" può essere catturato in termini di somme di quadrati come disuguaglianza. La domanda diventa quindi se esiste una soluzione 0-1 alla disuguaglianza $Z$

y_{i} = α + β x_{i} + γ z_{i} + ϵ_{i}

$y_i = \alpha + \beta x_i + \gamma z_i + \epsilon_i$

y_{i} = α + β x_{i} + ϵ_{i} .

$y_i = \alpha + \beta x_i + \epsilon_i.$

f (z) \geq t .

$f(z) \ge t.$ Questa è una variante del problema di partizionamento impostato, noto per essere NP-difficile.

— user3697176
fonte

Il problema di partizionamento impostato può effettivamente essere ridotto a questo problema? In tal caso, ciò proverebbe che questo è un problema difficile.

${}\qquad{}$

— Michael Hardy,

Questo problema è difficile almeno quanto il classico set di partizionamento (SPP). SPP prende una combinazione lineare di pesi e cerca di moltiplicarli per +/- 1 per ottenere un'espressione che somma a 0. Qui si desidera soddisfare una disuguaglianza. Se ciò fosse risolvibile in tempo polinomiale per input arbitrari, un argomento di bisection mostra che si potrebbe anche risolvere SPP in tempo polinomiale. Non è esattamente una riduzione, ma è vicina.

— user3697176,