Risposte:
kNN tende ad essere esponenziale perché lo spazio di ricerca aumenta con . Immagina di dividere lo spazio attorno al tuo punto di ricerca in quadranti. Per k = 1 devi solo cercare due "quadranti" (valori più alti e più bassi), per k = 2 sono 4 quadranti, per k = 3 sono 8 quadranti, cioè crescita esponenziale dello spazio di ricerca. Questo è ciò di cui soffre l'albero kD, perché deve cercare sottobranche.
Altri alberi hanno prestazioni molto migliori, ad esempio CoverTree . Ho anche scoperto che l'albero del PH funziona abbastanza bene, sembra impiegare costantemente il doppio del CoverTree per i set di dati tra k = 8 e k = 27 (non avevo set di dati con k più alto).
k
è effettivamente la dimensione del problema e quindi soffre della "maledizione della dimensionalità".