Domanda interessante. Questa non è davvero una risposta, ma è troppo lungo per essere un commento.
Penso che il tuo progetto sperimentale sia messo in discussione per questi motivi:
1) Ciò non riflette il modo in cui la selezione titoli viene effettivamente valutata nel "mondo reale". Ad esempio, supponiamo che il selettore di azioni A abbia scelto 1 stock che sia aumentato del 1000% e 9 che sia sceso dell'1% e che la stock picker B abbia scelto 10 titoli che sono aumentati dell'1%. Se questi stock fossero effettivamente utilizzati per costruire un indice, allora chiaramente A sarebbe il migliore, ma B farebbe molto meglio nel tuo esperimento. Una sfida più interessante dal punto di vista finanziario sarebbe quella di costruire un portafoglio e confrontare le sue prestazioni con quelle dell'S & P 500. A sua volta, esiste un meccanismo comunemente usato per valutare tali prestazioni: basta prendere una regressione lineare dei rendimenti giornalieri del portafoglio rispetto a quelli dell'S & P. Il termine di intercettazione (spesso chiamato "alfa") misura la performance media "oltre il mercato". Dal momento che è un coefficiente di regressione lineare, è una cosa da poco costruire un intervallo di confidenza al 95%, se lo si desidera. Quindi confronta questo con le commissioni che la sua banca addebiterebbe per questo servizio.
2) Ignorando 1, dal momento che sembra che entrambi abbiate già concordato la forma dell'esperimento, considerate come si potrebbe giocare. Supponiamo di avere un oracolo magico che mi ha detto la probabilità che ogni azione sia al di sopra del suo prezzo attuale tra un mese (diciamo). Quindi potrei semplicemente scegliere gli stock con le più alte probabilità, e molto probabilmente oltre il 50% di essi aumenterebbe. Ora, tali probabilità sono codificate (in modo imperfetto) in vari prezzi di opzioni. Ad esempio, posso acquistare una cosiddetta "opzione binaria", che in pratica è solo una scommessa sull'evento "Stock X sarà al di sopra del prezzo Y alla data Z". Il prezzo di tale implica una probabilità di questo evento (anche se la data Z più vicina è al presente, meno affidabile sarà). Dal momento che seguire ciecamente la "saggezza della folla" non richiede particolari competenze, Direi che la performance di una strategia come questa dovrebbe essere considerata "livelli casuali" per il tuo particolare esperimento. In alternativa, le presenti un elenco di titoli di tua scelta e le fai indicare se pensa che ciascuno sarà in alto o in basso, insieme alla sua fiducia in ogni previsione. Quindi raggruppa tutte le risposte in base al livello di confidenza e vedi quanto si allineano (ad esempio, di quei titoli di cui era sicura al 90%, ne aveva previsto correttamente il 90%?). C'è un modo standard per quantificare questo; non ricordo di persona come si chiama, ma puoi leggerlo in Superforecasters di Phil Tetlock. e farle indicare se pensa che ciascuno sarà su o giù, insieme alla sua fiducia in ogni previsione. Quindi raggruppa tutte le risposte in base al livello di confidenza e vedi quanto si allineano (ad esempio, di quei titoli di cui era sicura al 90%, ne aveva previsto correttamente il 90%?). C'è un modo standard per quantificare questo; non ricordo di persona come si chiama, ma puoi leggerlo in Superforecasters di Phil Tetlock. e farle indicare se pensa che ciascuno sarà su o giù, insieme alla sua fiducia in ogni previsione. Quindi raggruppa tutte le risposte in base al livello di confidenza e vedi quanto si allineano (ad esempio, di quei titoli di cui era sicura al 90%, ne aveva previsto correttamente il 90%?). C'è un modo standard per quantificare questo; non ricordo di persona come si chiama, ma puoi leggerlo in Superforecasters di Phil Tetlock.