Come avere un beta test di successo con una piccola squadra?

Ho lavorato molto (pro-bono) su una patch per un gioco commerciale di circa 11 anni fa che necessita di alcuni beta test. Un sacco di persone lo stanno aspettando.

Quali sono alcuni modi per ottenere un buon feedback (con questo intendo utile) durante la fase di beta test per un gioco? Ho un sacco di persone che vogliono giocarci, ma sono preoccupato di ottenere un buon feedback senza impantanarmi nello sviluppo. Sono anche preoccupato che le persone saranno più preoccupate di avere le modifiche che vogliono vedere aggiunte alla patch piuttosto che testare davvero il lavoro che è stato fatto.

• Offrite la possibilità di registrare i bug direttamente in un tracker di bug o di inviarli tutti a una persona del team di sviluppo?
• Come assicurate di coprire tutte le piattaforme supportate (nel mio caso: Mac OSX (x86 / ppc), Windows (più versioni), Linux (più versioni)?

Esistono buoni pacchetti software (come un portale Web) per l'esecuzione di un beta test per un progetto come questo? Qualche buon documento là fuori con suggerimenti?

Suggerirei vivamente di avere un'opzione di archiviazione dei bug nel gioco, preferibilmente un grosso pulsante che dice "FILE BUG QUI". I giocatori che sono coinvolti, specialmente se il tuo gioco è effettivamente buono, non ricorderanno mai i bug che si sono verificati se devono uscire dal motore per archiviarli. Potresti farli andare al tracker dei bug, oppure potresti semplicemente inviarlo via e-mail all'indirizzo del titolare. L'obiettivo principale è quello di rendere più semplice la presentazione dei file, anche se ciò potrebbe non essere possibile per un gioco di 11 anni. In tal caso, supporterei sia l'e-mail diretta sia un collegamento a un sito Web e forse forzerei i tester a passare attraverso un banale front-end che espone un pulsante "file a bug" in modo che si ricordino che esiste.

Un buon modo per farlo potrebbe essere quello di esporre semi-pubblicamente il tuo software di tracciamento dei bug stesso. La maggior parte dei software di tracciamento dei bug (Trac è un buon software gratuito se non ne hai già uno configurato) ha già un buon frontend Web e potresti aprirlo direttamente a tutti nella beta. In questo modo i tuoi beta tester possono letteralmente fare QA per te.

Per ottenere la copertura della piattaforma, potresti provare ad andare direttamente a quelle community. Assicurati di discutere della tua beta su forum incentrati su PC, Mac e Linux. In questo modo ti assicurerai di ottenere alcuni da ciascun gruppo. Dovresti chiedere ai giocatori di specificare quali piattaforme sono disponibili anche nell'applicazione beta.

Infine, potresti considerare di inviare periodicamente una sorta di e-mail di "stato del test". Qualcosa del tipo "Ehi, abbiamo appena cambiato il bilanciamento delle armi, potete concentrarvi sui livelli 4-7 per oggi? I livelli 8-10 sono ancora in fase di elaborazione e andranno un po 'meglio la prossima settimana." Qualsiasi cosa tu possa fare per focalizzare il processo di test funzionerà a tuo vantaggio.

Per ottenere buone informazioni quantitative, se hai i tempi di sviluppo, aggiungi tutte le registrazioni che puoi analizzare.

• Quale% dei tuoi beta tester è mai tornata?
• Quanto è durata la loro sessione di gioco (più lunga, media)?
• Dove hanno smesso di giocare (qual è stata l'ultima azione registrata)
• Quale% di persone ha riscontrato il nuovo contenuto?

eccetera

Per quanto riguarda la raccolta dei dati, ( http://docs.google.com ) ha uno strumento di sondaggio abbastanza facile da usare - basta usare la voce di menu Modulo-> Crea un modulo.

Se stai usando Flash o Silverlight, consiglierei di integrare Google Analytics o qualcosa di simile. Usando Analytics è facile strumentare il tuo gioco e misurare cose come il tempo di gioco, dove i giocatori stanno abbandonando, ecc.

Inoltre, consiglierei di utilizzare un servizio come "First Impressions" di Flash Game License o semplicemente andare direttamente al Mechanical Turk di Amazon. Ho scoperto che per $ 1 puoi fare in modo che un giocatore provi il tuo gioco per alcuni minuti e fornisca feedback in diverse categorie. Se usi Mechanical Turk puoi progettare il tuo modulo e porre le domande che ti interessano.

Se si combinano entrambi i metodi, è possibile ottenere molte informazioni relativamente a basso costo. Naturalmente assicurati di sapere cosa vuoi misurare prima di iniziare a spendere soldi. Infine, ho sentito che alcune persone rilasceranno i loro giochi su un portale come Newgrounds usando un alias e quindi utilizzeranno Analytics e un modulo integrato per raccogliere feedback dai giocatori.