Qual è la probabilità che punti casuali in dimensioni siano linearmente separabili?

Dati punti dati, ognuno con caratteristiche, sono etichettati come , l'altro sono etichettati come . Ogni caratteristica prende un valore da modo casuale (distribuzione uniforme). Qual è la probabilità che esista un iperpiano che può dividere le due classi? $n$ $d$ $n/2$ $0$ $n/2$ $1$ $[0,1]$

Consideriamo prima il caso più semplice, ovvero . $d = 1$

— Xing Shi
fonte

Questa è una domanda davvero interessante. Penso che questo possa essere riformulato in termini di intersezione o meno degli scafi convessi delle due classi di punti, anche se non so se ciò renda il problema più semplice o meno.

— Don Walpola,

Questa sarà chiaramente una funzione delle magnitudini relative di & . Considera il caso più semplice w / , se , quindi con dati veramente continui (ovvero, nessun arrotondamento a una cifra decimale), la probabilità che possano essere separati linearmente è . OTOH, .

n

$n$

d

$d$

d = 1

$d=1$

n = 2

$n=2$

1

$1$

lim n \to \infty Pr(linearly separable) \to 0

$\lim n\to \infty\ \ \text{Pr(linearly separable)} \to 0$

— gung - Ripristina Monica

Dovresti anche chiarire se l'iperpiano deve essere 'piatto' (o se potrebbe essere, diciamo, una parabola in una situazione di tipo ). Mi sembra che la domanda implichi fortemente la piattezza, ma questo dovrebbe probabilmente essere dichiarato esplicitamente.

2 d

$2d$

— gung - Ripristina Monica

@gung Penso che la parola "iperpiano" implichi inequivocabilmente "piattezza", ecco perché ho modificato il titolo per dire "separabile linearmente". Chiaramente qualsiasi set di dati senza duplicati può in linea di principio essere separabile in modo non lineare.

— ameba dice Reinstate Monica il

@gung IMHO "hyperplane piatto" è un pleonasmo. Se si sostiene che "iperpiano" può essere curvo, anche "piatto" può anche essere curvo (in una metrica appropriata).

— ameba dice Reinstate Monica il

Supponendo che non esistano duplicati nei dati.

Se , la probabilità è . $n\leq d+1$ $\text{Pr}=1$

Per altre combinazioni di , vedere il diagramma seguente: $(n,d)$

Ho generato questo diagramma simulando i dati di input e output come specificato nel PO. La separabilità lineare è stata definita come fallimento della convergenza in un modello di regressione logistica, a causa dell'effetto Hauck-Donner .

$n$ $n, d$ $p$

P (n, d) = \frac{1}{1 + e^{- (5,82,944 mila - 4,58,261 mila \times n + 1,37,271 mila \times d - 0.0235785 \times n \times d)}}

$P(n,d)={ 1 \over {1 + e^ {-(5.82944-4.58261\times n + 1.37271 \times d -0.0235785 \times n \times d)} } }$

Codice per la trama (in Julia):

using GLM

ds = 10; #number of dimensions to be investigated
ns = 100 #number of examples to be investigated
niter = 1000; #number of iterations per d per n
P = niter * ones(Int64, ds, ns); #starting the number of successes

for d in 1:ds
    for n in (d+1):ns
        p = 0 #0 hits
        for i in 1:niter
            println("Dimensions: $d; Samples: $n; Iteration: $i;")
            try #we will try to catch errors in the logistic glm, these are due to perfect separability
                X = hcat(rand((n,d)), ones(n)); #sampling from uniform plus intercept
                Y = sample(0:1, n)  #sampling a binary outcome
                glm(X, Y, Binomial(), LogitLink())
            catch
                p = p+1 #if we catch an error, increase the count
            end
        end
        P[d,n] = p
    end
end

using Plots

gui(heatmap(P./niter, xlabel = "Number of Samples", ylabel = "Number of Dimensions", title = "Probability of linear separability"))

$(n,d)$ $p$

probs = P./niter
N = transpose(repmat(1:ns, 1, ds))
D = repmat(1:ds, 1, ns)

fit = glm(hcat(log.(N[:]), D[:], N[:].*D[:], ones(ds*ns)), probs[:], Binomial(), LogitLink())
coef(fit)
#4-element Array{Float64,1}:
# -4.58261
#  1.37271
# -0.0235785
#  5.82944

gui(heatmap(reshape(predict(fit), ds, ns), xlabel = "Number of Samples", ylabel = "Number of Dimensions", title = "Fit of probability of linear separability"))

— Firebug
fonte

+1. Perché accedere (n) e non n? Il confine giallo-nero mi sembra una linea retta nella figura in alto, ma appare piegato nella seconda figura. È forse a causa del registro (n)? Non sono sicuro.

— ameba dice Reinstate Monica il

p = 1

$p=1$

p = 0

$p=0$