Come posso calcolare il margine di errore in un risultato NPS (Net Promoter Score)?

Lascerò che Wikipedia spieghi come viene calcolato l' NPS :

Il punteggio del promotore netto si ottiene ponendo ai clienti una singola domanda su una scala di valutazione da 0 a 10, dove 10 è "estremamente probabile" e 0 non è "affatto probabile": "Quanto è probabile che consiglieresti la nostra azienda a un amico o collega? " Sulla base delle loro risposte, i clienti sono classificati in uno dei tre gruppi: promotori (punteggio 9-10), elementi passivi (punteggio 7–8) e detrattori (punteggio 0–6). La percentuale di detrattori viene quindi sottratta dalla percentuale di promotori per ottenere un punteggio di promotore netto (NPS). L'NPS può arrivare a -100 (tutti sono detrattori) o fino a +100 (tutti sono promotori).

Abbiamo condotto questo sondaggio periodicamente per diversi anni. Riceviamo diverse centinaia di risposte ogni volta. Il punteggio risultante è variato di 20-30 punti nel corso del tempo. Sto cercando di capire quali movimenti dei punteggi sono significativi, se presenti.

Se ciò si rivela semplicemente troppo difficile, sono anche interessato a cercare di capire il margine di errore sulla base del calcolo. Qual è il margine di errore di ciascun "secchio" (promotore, passivo, detrattore)? Forse anche, qual è il margine di errore se guardo solo la media dei punteggi, riducendo i dati a un solo numero per ogni sondaggio? Mi porterebbe da qualche parte?

Tutte le idee qui sono utili. Tranne "non usare NPS". Quella decisione è al di fuori della mia capacità di cambiare!

— Dan Dunn
fonte

Risposte:

Supponiamo che la popolazione, dalla quale supponiamo che stiate campionando casualmente, contenga proporzioni di promotori, di passivi e di detrattori, con . Per modellare l'NPS, immagina di riempire un grande cappello con un numero enorme di biglietti (uno per ogni membro della tua popolazione) etichettati per i promotori, per i passivi e per i detrattori, nelle proporzioni date, e quindi disegnare di loro a caso. L' NPS di esempio è il valore medio sui ticket estratti. Il vero NPS viene calcolato come il valore medio di tutti i ticket nel cappello: è il $p_1$ $p_0$ $p_{-1}$ $p_1+p_0+p_{-1}=1$ $+1$ $0$ $-1$ $n$ valore atteso (o aspettativa ) del cappello.

Un buon stimatore del vero NPS è il campione NPS. Anche l'NPS di esempio ha un'aspettativa. Può essere considerata la media di tutti i possibili NPS di esempio. Questa aspettativa sembra corrispondere al vero NPS. L' errore standard dell'NPS campione è una misura di quanto in genere gli NPS campione variano tra un campione casuale e l'altro. Fortunatamente, non è necessario calcolare tutti i possibili campioni per trovare SE: può essere trovato più semplicemente calcolando la deviazione standard dei ticket nel cappello e dividendo per . (È possibile apportare un piccolo aggiustamento quando il campione rappresenta una percentuale apprezzabile della popolazione, ma qui non è probabilmente necessario.) $\sqrt{n}$

Ad esempio, considera una popolazione di promotori, 1/3 passivi e 1/6 detrattori. Il vero NPS è $p_1=1/2$ $p_0=1/3$ $p_{-1}=1/6$

NPS = 1 \times 1 / 2 + 0 \times 1 / 3 + - 1 \times 1 / 6 = 1 / 3.

$\mbox{NPS} = 1\times 1/2 + 0\times 1/3 + -1\times 1/6 = 1/3.$

La varianza è quindi

\begin{aligned} Var(NPS) & = (1 - NPS)^{2} \times p_{1} + (0 - NPS)^{2} \times p_{0} + (- 1 - NPS)^{2} \times p_{- 1} \\ = (1 - 1 / 3)^{2} \times 1 / 2 + (0 - 1 / 3)^{2} \times 1 / 3 + (- 1 - 1 / 3)^{2} \times 1 / 6 \\ = 5 / 9. \end{aligned}

$\eqalign{ \mbox{Var(NPS)} &= (1-\mbox{NPS})^2\times p_1 + (0-\mbox{NPS})^2\times p_0 + (-1-\mbox{NPS})^2\times p_{-1}\\ &=(1-1/3)^2\times 1/2 + (0-1/3)^2\times 1/3 + (-1-1/3)^2\times 1/6 \\ &= 5/9. }$

La deviazione standard è la radice quadrata di questo, circa uguale a $0.75.$

In un campione di, diciamo, , ti aspetteresti quindi di osservare un valore NPS di circa % con un errore standard di circa %. $324$ $1/3 = 33$ $0.75/\sqrt{324}=$ $4.1$

In effetti, non si conosce la deviazione standard dei ticket nel cappello, quindi la si stima utilizzando invece la deviazione standard del proprio campione. Se diviso per la radice quadrata della dimensione del campione, stima l'errore standard dell'NPS: questa stima è il margine di errore (MoE).

A condizione che osservi un numero considerevole di ciascun tipo di cliente (in genere, circa 5 o più di ciascuno lo farà), la distribuzione del NPS campione sarà vicina alla Normale. Ciò implica che è possibile interpretare il MoE nei modi consueti. In particolare, circa i 2/3 delle volte l'NPS campione si troverà all'interno di un MoE del vero NPS e circa il 19/20 del tempo (95%) l'NPS del campione si troverà all'interno di due MoE del vero NPS. Nell'esempio, se il margine di errore fosse davvero del 4,1%, avremmo la certezza del 95% che il risultato dell'indagine (il campione NPS) sia compreso nell'8,2% della popolazione NPS.

Ogni sondaggio avrà il proprio margine di errore. Per confrontare due di questi risultati è necessario tenere conto della possibilità di errore in ciascuno di essi. Quando le dimensioni del sondaggio sono all'incirca uguali, l'errore standard della loro differenza può essere trovato da un teorema di Pitagora: prendi la radice quadrata della somma dei loro quadrati. Ad esempio, se un anno il MoE è del 4,1% e un altro anno il MoE è del 3,5%, quindi si calcola all'incirca un margine di errore intorno a = 5,4% per la differenza tra questi due risultati. In questo caso, è possibile concludere con la certezza del 95% che l' NPS della popolazione è passato da un sondaggio all'altro a condizione che la differenza tra i due risultati del sondaggio sia pari o superiore al 10,8%. $\sqrt{3.5^2+4.1^2}$

Quando si confrontano molti risultati del sondaggio nel tempo, possono essere utili metodi più sofisticati, poiché è necessario far fronte a molti margini di errore separati. Quando i margini di errore sono tutti abbastanza simili, una rozza regola empirica è considerare un cambiamento di tre o più MoE come "significativi". In questo esempio, se i MoE si aggirano intorno al 4%, allora una variazione di circa il 12% o più su un periodo di diversi sondaggi dovrebbe attirare la tua attenzione e modifiche minori potrebbero essere validamente respinte come errore del sondaggio. Indipendentemente da ciò, l'analisi e le regole empiriche fornite qui di solito forniscono un buon inizio quando si pensa a cosa potrebbero significare le differenze tra i sondaggi.

Si noti che non è possibile calcolare il margine di errore dal solo NPS osservato: dipende dai numeri osservati di ciascuno dei tre tipi di intervistati. Ad esempio, se quasi tutti sono "passivi", il sondaggio NPS sarà vicino allo con un piccolo margine di errore. Se la popolazione è polarizzata equamente tra promotori e detrattori, l'indagine NPS sarà comunque prossima a ma avrà il margine di errore più ampio possibile (pari a in un campione di persone). $0$ $0$ $1/\sqrt{n}$ $n$

— whuber
fonte

Questa è stata una risposta fantastica. Lo apprezzo molto.

— Dan Dunn,

Il "margine di errore" non viene comunemente interpretato come l'intervallo di confidenza del 95% per una statistica ricavata da un campione? vale a dire circa 1,96 l'errore standard di campionamento (o deviazione standard) di tale statistica. Si utilizza il margine di errore come sinonimo di "deviazione standard della statistica" o "errore standard".

— Peter Ellis,

Grazie @whuber. Cerco di non discutere mai sulla terminologia fintanto che è chiaramente definita (il principio di Humpty Dumpty), e penso che il cavallo abbia stretto una convenzione coerente su questo. L'unica prova che ho è una risposta alla mia domanda su stats.stackexchange.com/questions/21139/… , che rileva correttamente che il margine di errore è comunemente (non universalmente) indicato come percentuale della stima.

— Peter Ellis,

@ Charles, penso che Whuber stia facendo una varianza di base di una variabile casuale discreta. Vedi stat.yale.edu/Courses/1997-98/101/rvmnvar.htm

— B_Miner

V a r = p_{1} + p_{- 1} - N P S^{2}

$Var = p_1 + p_{-1} - NPS^2$

È inoltre possibile utilizzare lo stimatore di varianza per variabili continue. In realtà, lo preferirei allo stimatore di varianza per la variabile discreta casuale, poiché esiste una correzione ben nota per il calcolo della varianza del campione: https://en.wikipedia.org/wiki/Unbiased_estimation_of_standard_deviation Come altri hanno notato, soluzione Whubers si basa su formule di popolazione. Tuttavia, poiché stai conducendo un sondaggio, sono abbastanza sicuro che tu abbia disegnato un campione, quindi consiglierei di usare lo stimatore imparziale (dividendo la somma dei quadrati per n-1, non solo per n). Naturalmente, per campioni di grandi dimensioni, la differenza tra lo stimatore distorto e imparziale è praticamente inesistente.

Consiglierei anche di usare una procedura t-test, se hai campioni di dimensioni medie, invece di usare l'approccio z-score: https://en.wikipedia.org/wiki/Student 's_t-test

@whuber: dal momento che anche altri lo hanno chiesto: come si potrebbe calcolare lo stimatore campione imparziale per varianza / sd per il proprio approccio casuale a variabili discrete? Ho provato a trovarlo da solo, ma non ci sono riuscito. Grazie.

— deschen
fonte

Puoi potenzialmente utilizzare bootstrap per semplificare i tuoi calcoli. In R il codice sarebbe:

library(bootstrap)

NPS=function(x){
  if(sum(!x%%1==0)>0){stop("Non-integers found in the scores.")}
  if(sum(x>10|x<0)>0){stop("Scores not on scale of 0 to 10.")}
  sum(ifelse(x<7,-1,ifelse(x>8,1,0)))/length(x)*100
}

NPSconfInt=function(x,confidence=.9,iterations=10000){
  quantile(bootstrap(x,iterations,NPS)$thetastar,c((1-confidence)/2, 1-(1-confidence)/2))
}


npsData=c(1,5,6,8,9,7,0,10,7,8,
          6,5,7,8,2,8,10,9,8,7,0,10)    # Supply NPS data
hist(npsData,breaks=11)                 # Histogram of NPS responses

NPS(npsData)            # Calculate NPS (evaluates to -14)
NPSconfInt(npsData,.7)  # 70% confidence interval (evaluates to approx. -32 to 5)

— k-zar
fonte

Potresti ampliare la tua risposta spiegando all'inizio qual è l'approccio - in modo sufficientemente dettagliato che qualcuno che non capisce affatto il tuo codice R potrebbe ancora seguire quello che stai cercando di dire - e si spera abbastanza che possano prendere una pugnalata per implementarlo nella loro lingua preferita?

— Glen_b -Restate Monica