Credo che ti piacerebbe Teoria della classificazione: un'indagine sui recenti progressidi Boucheron, Bousquet e Lugosi. In particolare, inizia costruendo la teoria della generalizzazione di base tramite le complessità di Rademacher, introduce alcuni strumenti utili (come il principio di contrazione, la cui prova è possibile rintracciare nelle note di Shai & Shai a cui fa riferimento la risposta di Ashwinkumar, ma (credo?) Ha origine nel libro di probabilità di Ledoux & Talagrand, che non è gratuito), e li applica ai metodi di classificazione standard (vengono discussi il potenziamento e il supporto delle macchine vettoriali, sia per la loro popolarità, sia perché addestrati tramite ERM). Questo testo risale al 2005, quindi ha anche alcuni degli altri argomenti piuttosto recenti che hai citato, ad esempio le complessità locali di Rademacher, e c'è anche una piccola spina nel concatenamento. Infine, mentre il manoscritto è piuttosto breve,
Alcuni degli altri argomenti che menzioni sono abbastanza vecchi da essere in "Una teoria probabilistica del riconoscimento dei modelli" di Devroye, Györfi e Lugosi (in particolare, ha qualcosa in più sulla confezione di qualsiasi altro testo che conosco). Sebbene manchi alcuni degli argomenti più recenti che menzioni, questo è un libro standard che tutti quelli che ho incontrato nella teoria dell'apprendimento hanno portato nei loro scaffali. Forse prova a individuare un indice e un indice per il libro e sfogliarlo.
Alcuni degli altri argomenti citati non li ho visti trattati in modo esauriente in un libro, ma sono comparsi in numerosi appunti del corso. Ad esempio, se vai alla pagina di Sham Kakade a UPenn , troverai collegamenti a due corsi di teoria dell'apprendimento (uno era al TTI-C, con Ambuj Tewari) e vedrai che i collegamenti degli argomenti corrispondono ad alcune delle cose di cui hai discusso e non sono comparsi nelle mie risposte o altrove. Ci sono molti buoni corsi in varie scuole; Avrim Blum ha note eccellenti ed estremamente leggibili per il suo corso di teoria dell'apprendimento (la sua analisi di Winnow è la più breve, pulita e intuitiva che abbia mai visto!).
Alcuni di questi sono forse un po 'troppo nuovi, e dovrai andare al materiale di partenza. Ma se stai davvero solo cercando di raccogliere un sacco di tecniche, penso che il sondaggio in alto e le lezioni a un paio di lezioni di teoria dell'apprendimento ti serviranno molto.
Inoltre, sembra che tu stia cercando testi avanzati, ma mi piacerebbe anche collegare due testi introduttivi che piacciono molto alla gente. Uno è "un'introduzione alla teoria dell'apprendimento computazionale", di Kearns e (U.) Vazirani, che quando era vecchio (ad esempio, il potenziamento è presentato solo attraverso la costruzione originale di Robert Schapire e l'enfasi è posta sul PAC piuttosto che sull'apprendimento agnostico), è presentato bene e ha una buona intuizione. Personalmente, ho avuto le mie basi in Introduzione alla teoria dell'apprendimento statistico , dagli stessi autori dell'indagine di cui sopra (ma che appaiono nell'ordine Bousquet, Boucheron, Lugosi?); ha una bella esposizione ed è stata la prima volta che la teoria della generalizzazione ha davvero iniziato a fare clic per me.