Esempi di distribuzioni reali con asimmetria negativa


20

Ispirato da " esempi reali di distribuzioni comuni ", mi chiedo quali esempi pedagogici le persone usano per dimostrare l'asimmetria negativa? Ci sono molti esempi "canonici" di distribuzioni simmetriche o normali usate nell'insegnamento - anche se quelli come altezza e peso non sopravvivono a un attento esame biologico! La pressione sanguigna potrebbe essere più vicina alla normalità. Mi piacciono gli errori di misurazione astronomica - di interesse storico, intuitivamente non hanno più probabilità di trovarsi in una direzione rispetto a un'altra, con piccoli errori più probabili che grandi.

Esempi pedagogici comuni per l'asimmetria positiva includono i redditi delle persone; chilometraggio su auto usate in vendita; tempi di reazione in un esperimento di psicologia; prezzi delle case; numero di richieste di risarcimento infortuni da parte di un cliente assicurativo; numero di bambini in una famiglia. La loro ragionevolezza fisica spesso deriva dall'essere delimitata al di sotto (di solito da zero), con valori bassi plausibili, anche comuni, ma molto noti (a volte ordini di grandezza superiori) che si verificano.

Per inclinazione negativa, trovo più difficile fornire esempi chiari e chiari che un pubblico più giovane (liceali) può comprendere intuitivamente, forse perché un minor numero di distribuzioni nella vita reale ha un chiaro limite superiore. Un esempio di cattivo gusto che mi è stato insegnato a scuola è stato il "numero di dita". La maggior parte della gente ne ha dieci, ma alcuni ne perdono uno o più in incidenti. Il risultato è stato "il 99% delle persone ha un numero di dita superiore alla media"! La polidattilia complica il problema, poiché dieci non è un limite superiore rigoroso; poiché sia ​​le dita mancanti che quelle extra sono eventi rari, potrebbe non essere chiaro agli studenti quale effetto prevale.

Di solito uso una distribuzione binomiale con alto . Ma gli studenti spesso trovano che "il numero di componenti soddisfacenti in un batch è distorto negativamente" meno intuitivo del fatto complementare che "il numero di componenti difettosi in un batch è distorto positivamente". (Il libro di testo è industrialmente a tema; preferisco uova incrinate e intatte in una scatola di dodici.) Forse gli studenti ritengono che il "successo" dovrebbe essere raro.p

Un'altra opzione è quella di sottolineare che, se è inclinato positivamente quindi è negativamente distorta, ma per collocare questo in un contesto pratico ( "negativi i prezzi delle case sono negativamente distorta") sembra destinata al fallimento pedagogico. Mentre ci sono vantaggi nell'insegnare gli effetti delle trasformazioni dei dati, sembra saggio dare prima un esempio concreto. Preferirei uno che non sembri artificiale, in cui l'inclinazione negativa è piuttosto inequivocabile e per la quale l'esperienza di vita degli studenti dovrebbe dare loro una consapevolezza della forma della distribuzione.- XX-X


4
Non è evidente che negare una variabile sarà un "fallimento pedagogico", perché esiste la possibilità di aggiungere una costante senza cambiare la forma della distribuzione. Molte distribuzioni distorte coinvolgono le proporzioni per esempio, e le proporzioni complementari sono di solito altrettanto naturali e facili da interpretare come le proporzioni originali. Anche con i prezzi delle case i valori dove è il prezzo massimo di una casa nell'area potrebbero essere interessanti e non è difficile da capire. Considera anche l'uso di registri e trasformazioni di potenza negativa per creare inclinazione negativa. 1 - XX1-XC - X CXC-XC
whuber

2
Concordo sul fatto che nel caso dei prezzi delle case sarebbe un po 'inventato. Ma non lo farebbe: sarebbe "la quantità di casa che puoi comprare per ogni dollaro". Sospetto che in qualsiasi area ragionevolmente omogenea ciò avrebbe una forte inclinazione negativa. Tali esempi potrebbero insegnare alla lezione più profonda che l'asimmetria è una funzione del modo in cui esprimiamo i dati. 1 / XC-X1/X
whuber

3
@whuber Non sarebbe affatto inventato. I prezzi massimi e minimi potenziali in un mercato sorgono naturalmente come quelli che riflettono valutazioni diverse da parte dei partecipanti al mercato. Tra gli acquirenti, ce n'è probabilmente uno che pagherebbe il prezzo massimo per una determinata casa. E tra i venditori ce n'è uno che potrebbe accettare il prezzo minimo. Ma queste informazioni non sono pubbliche e quindi i prezzi di transazione osservati effettivi sono influenzati dall'esistenza di informazioni incomplete. (CONTINUA)
Alecos Papadopoulos

1
CONTINUA ... Il seguente articolo di Kumbhakar e Parmeter (2010) lo modella esattamente (permettendo anche il caso della simmetria), e con un'applicazione sul mercato interno: link.springer.com/article/10.1007/s00181-009 -0292-8 # pagina-1
Alecos Papadopoulos

3
L'età alla morte è negativamente distorta nei paesi sviluppati.
Nick Cox,

Risposte:


3

Nel Regno Unito, il prezzo di un libro. Esiste un "prezzo al dettaglio consigliato" che sarà generalmente il prezzo modale e praticamente da nessuna parte dovresti pagare di più. Ma alcuni negozi scontano, e alcuni lo sconto pesantemente.

Inoltre, l'età alla pensione. La maggior parte delle persone va in pensione tra i 65 e i 68 anni, quando inizia la pensione statale, pochissime persone lavorano più a lungo, ma alcune vanno in pensione tra i 50 e i 60 anni.

Inoltre, il numero di GCSE che le persone ottengono. La maggior parte dei bambini viene inserita per 8-10 e quindi ottiene 8-10. Un piccolo numero fa di più. Alcuni dei bambini non superano tutti gli esami, quindi c'è un costante aumento da 0 a 7.


1
Questo forse ha bisogno di una spiegazione del fatto che GCSE è un esame nelle scuole secondarie britanniche e in alcuni sistemi correlati, il più delle volte preso all'età di circa 16 anni. Il numero è di materie prese, ad esempio la matematica è comunemente una materia.
Nick Cox,

18

Nick Cox ha accuratamente commentato che "l'età alla morte è negativamente distorta nei paesi sviluppati", che ho pensato fosse un ottimo esempio.

Ho trovato che le figure più convenienti su cui potevo mettere le mani provenivano dall'Australian Bureau of Statistics ( in particolare, ho usato questo foglio Excel ), dal momento che i loro bidoni dell'età sono arrivati ​​a 100 anni e il maschio australiano più anziano era 111 , quindi io mi sono sentito a mio agio nel tagliare l'ultimo bidone a 110 anni. Altre agenzie statistiche nazionali spesso sembravano fermarsi a 95, il che rendeva scomodo il cestino finale. L'istogramma risultante mostra una chiara inclinazione negativa, così come alcune altre caratteristiche interessanti come un piccolo picco nel tasso di mortalità tra i bambini piccoli, che sarebbe adatto alla discussione e all'interpretazione in classe.

Età alla morte dei maschi australiani nel 2012

Segue il codice R con dati non elaborati, il HistogramTools pacchetto si è rivelato molto utile per la stampa basata su dati aggregati! Grazie a questa domanda StackOverflow per segnalarla.

library(HistogramTools)

deathCounts <- c(565, 116, 69, 78, 319, 501, 633, 655, 848, 1226, 1633, 2459, 3375, 4669, 6152, 7436, 9526, 12619, 12455, 7113, 2104, 241)
ageBreaks <- c(0, 1, 5, 10, 15, 20, 25, 30, 35, 40, 45, 50, 55, 60, 65, 70, 75, 80, 85, 90, 95, 100, 110)

myhist <- PreBinnedHistogram(
    breaks = ageBreaks,
    counts = deathCounts,
    xname = "Age at Death of Australian Males, 2012")
plot(myhist)

2
In qualche modo correlato a questo post, ho sentito che l'età pensionabile ha un'asimmetria negativa: la maggior parte delle persone va in pensione intorno all'età nominale (diciamo 65 o 67 in molti paesi) ma alcuni (diciamo, lavoratori nelle miniere di carbone) si ritirano molto prima.
Christoph Hanck,

L'età alla morte segue empiricamente una distribuzione nota?
Testardo:

11

Ecco i risultati per i quaranta atleti che hanno completato con successo un salto legale nel turno di qualificazione del salto in lungo maschile olimpico del 2012, presentato in un diagramma di densità del kernel con la trama del tappeto sottostante.

Risultati del turno di qualificazione maschile del salto in lungo olimpico di Londra 2012

Sembra essere molto più facile essere un metro dietro il gruppo principale di concorrenti piuttosto che essere un metro avanti, il che spiegherebbe l'asimmetria negativa.

Ho il sospetto che parte del raggruppamento nella parte alta sia dovuto alla qualificazione degli atleti (che ha richiesto una top dodici o un risultato di 8,10 metri o più) piuttosto che raggiungere la distanza più lunga possibile. Il fatto che i primi due risultati siano stati 8,11 metri, appena sopra il punteggio automatico di qualificazione, è fortemente indicativo, così come il modo in cui i salti vincitori della medaglia in finale sono stati entrambi più lunghi e più distribuiti a 8,31, 8,16 e 8,12 metri. I risultati in finale hanno avuto una leggera, non significativa, inclinazione negativa.

Per confronto, i risultati per il Heptathlon olimpico di Seul 1988 sono disponibili nel heptathlonset di dati nel pacchetto R HSAUR. In quella competizione non c'è stato il turno di qualificazione ma ogni evento ha contribuito con punti alla classifica finale; le concorrenti femminili hanno mostrato un'inclinazione negativa pronunciata nei risultati del salto in alto e un'inclinazione piuttosto negativa nel salto in lungo. È interessante notare che questo non è stato replicato negli eventi di lancio (tiro e giavellotto) anche se sono anche eventi in cui un numero più elevato corrisponde a un risultato migliore. Anche i punteggi dei punti finali sono stati leggermente distorti.

Dati e codice

require(moments)
require(ggplot2)

sourceAddress <- "http://www.olympic.org/olympic-results/london-2012/athletics/long-jump-m"

longjump.df <- read.csv(header=TRUE, sep=",", text="
rank,name,country,distance
1,Mauro Vinicius DA SILVA,BRA,8.11 
2,Marquise GOODWIN,USA,8.11
3,Aleksandr MENKOV,RUS,8.09
4,Greg RUTHERFORD,GBR,8.08
5,Christopher TOMLINSON,GBR,8.06
6,Michel TORNEUS,SWE,8.03
7,Godfrey Khotso MOKOENA,RSA,8.02
8,Will CLAYE,USA,7.99
9,Mitchell WATT,AUS,7.99,
10,Tyrone SMITH,BER,7.97,
11,Henry FRAYNE,AUS,7.95,
12,Sebastian BAYER,GER,7.92,
13,Christian REIF,GER,7.92,
14,Eusebio CACERES,ESP,7.92,
15,Aleksandr PETROV,RUS,7.89,
16,Sergey MORGUNOV,RUS,7.87,
17,Mohammad ARZANDEH,IRI,7.84,
18,Ignisious GAISAH,GHA,7.79,
19,Damar FORBES,JAM,7.79,
20,Jinzhe LI,CHN,7.77,
21,Raymond HIGGS,BAH,7.76,
22,Alyn CAMARA,GER,7.72,
23,Salim SDIRI,FRA,7.71,
24,Ndiss Kaba BADJI,SEN,7.66,
25,Arsen SARGSYAN,ARM,7.62,
26,Povilas MYKOLAITIS,LTU,7.61,
27,Stanley GBAGBEKE,NGR,7.59,
28,Marcos CHUVA,POR,7.55,
29,Louis TSATOUMAS,GRE,7.53,
30,Stepan WAGNER,CZE,7.50,
31,Viktor KUZNYETSOV,UKR,7.50,
32,Luis RIVERA,MEX,7.42,
33,Ching-Hsuan LIN,TPE,7.38,
33,Supanara SUKHASVASTI N A,THA,7.38,
35,Boleslav SKHIRTLADZE,GEO,7.26,
36,Xiaoyi ZHANG,CHN,7.25,
37,Mohamed Fathalla DIFALLAH,EGY,7.08,
38,Roman NOVOTNY,CZE,6.96,
39,George KITCHENS,USA,6.84,
40,Vardan PAHLEVANYAN,ARM,6.55,
NA,Luis MELIZ,ESP,NA,
NA,Irving SALADINO,PAN,NA")

roundedSkew <- signif(skewness(longjump.df$distance, na.rm=TRUE), 3)

ggplot(longjump.df, aes(x=distance)) + 
    xlab("Distance in metres") +
    ggtitle("London 2012 Men's Long Jump qualifying round results") +
    geom_rug(size=0.8) + 
    geom_density(fill="steelblue") +
    annotate("text", x=7.375, y=0.0625, colour="white", label=paste("Source:", sourceAddress), size=3) +
    annotate("rect", xmin = 6.25, xmax = 7.25, ymin = 0.5, ymax = 1.125, fill="white") +
    annotate("text", x=6.75, y=1, colour="black", label="Best jump in up to 3 attempts") +
    annotate("text", x=6.75, y=.875, colour="black", label="42 athletes competed") +
    annotate("text", x=6.75, y=.75, colour="black", label="2 athletes had no legal jump") +
    annotate("text", x=6.75, y=.625, colour="black", label=paste("Skewness = ", roundedSkew))


# Results of the top twelve who qualified for the Final were closer to symmetric
skewness(longjump.df$distance[1:12])
# -0.1248782

# Results in the Final (some had 3 jumps, others 6) were only slightly negatively skewed
skewness(c(8.31, 8.16, 8.12, 8.11, 8.10, 8.07, 8.01, 7.93, 7.85, 7.80, 7.78, 7.70))
# -0.08578357

# Compare to Seoul 1988 Heptathlon
require(HSAUR)
skewness(heptathlon)

11

I punteggi dei test facili o, in alternativa, i punteggi dei test per i quali gli studenti sono particolarmente motivati, tendono a rimanere inclinati.

Di conseguenza, i punteggi SAT / ACT degli studenti che entrano nelle università ricercate (e ancora di più, i loro GPA) tendono a rimanere inclinati. Ci sono molti esempi su collegeapps.about.com, ad esempio un diagramma dell'Università di Chicago SAT / ACT e GPA è qui .

Allo stesso modo gli GPA dei laureati sono spesso inclinati a sinistra, ad esempio gli istogrammi di seguito degli GPA dei laureati bianchi e neri in un'università a scopo di lucro presa dalla figura 5 di Gramling, Tim. "In che modo cinque caratteristiche degli studenti prevedono con precisione le probabilità di laurea universitaria a scopo di lucro ." SAGE Open 3.3 (2013): 2158244013497026.

Istogramma di GPA che mostra inclinazione negativa

(Non è difficile trovare altri esempi simili.)


2
Per una classe di statistiche introduttive, penso che questo esempio funzioni bene pedagogicamente: è qualcosa che gli studenti hanno probabilmente un'esperienza di vita reale, possono ragionare in modo intuitivo e possono confermare contro set di dati ampiamente disponibili.
Silverfish

9

In Stochastic Frontier Analysis, e in particolare nel suo focus storicamente iniziale, la produzione, la funzione di produzione di un'azienda / unità di produzione in generale, viene definita stocasticamente come

q=f(X)+u-w

qf(X)Xuwper ragioni che l'econometrico potrebbe non conoscere, ma che può misurare attraverso questa configurazione. Si presume che questa variabile casuale segua una distribuzione semi-normale o esponenziale. Supponendo la metà normale (per un motivo), abbiamo

u~N(0,σu2),w~HN(2πσ2,(1-2π)σ22)

σ2

ε=u-w

fε(ε)=2S2φ(ε/S2)Φ((-σ2σu)(ε/S2)),S22=σu2+σ22

0S2(-σ2σu)φΦσu=1,σ2=3inserisci qui la descrizione dell'immagine

Quindi l'asimmetria negativa è, direi, la modellistica più naturale degli sforzi della stessa razza umana: deviando sempre dal suo ideale immaginato - nella maggior parte dei casi in ritardo (la parte negativa della densità), mentre in relativamente meno casi, trascendendo i suoi limiti percepiti (la parte positiva della densità). Gli studenti stessi possono essere modellati come tale funzione di produzione. È semplice mappare il disturbo simmetrico e l'errore unilaterale sugli aspetti della vita reale. Non riesco a immaginare quanto più intuitivo si possa ottenere al riguardo.


1
Questa risposta sembra riecheggiare il suggerimento di Grad GPA di @ Glen_b. Un comportamento umano fortemente motivato e mirato a un ideale inafferrabile si adatta sicuramente a quello scenario! L'efficienza in generale è un ottimo esempio.
Nick Stauner,

2
@Nick Stauner Il punto importante qui è che consideriamo "obiettivo meno reale" firmato, non la "distanza" in valori assoluti. Manteniamo il segno per sapere se siamo sopra o sotto l'obiettivo. L'intuizione qui è, esattamente mentre scrivi, che un comportamento "altamente motivato" spingerà "reale" più vicino al "bersaglio", creando asimmetria.
Alecos Papadopoulos,

1
@NickStauner Infatti, proprio il post di Silverfish di salto in lungo qualificazione risultati riguarda anche 'il comportamento altamente motivato' (considerando limiti di ciò che gli esseri umani possono attualmente raggiungere come una sorta di informale 'ideale sfuggente')
Glen_b -Reinstate Monica

6

L'asimmetria negativa è comune nell'idrologia delle inondazioni. Di seguito è riportato un esempio di una curva della frequenza delle inondazioni (South Creek a Mulgoa Rd, lat -33.8783, lon 150.7683) che ho preso da "Australian Rainfall and Runoff" (ARR) la guida alla stima delle inondazioni sviluppata da Engineers, Australia.

C'è un commento in ARR:

Con un'inclinazione negativa, che è comune ai valori logaritmici delle inondazioni in Australia, la distribuzione di Pearson III ha un limite superiore. Ciò fornisce un limite superiore alle inondazioni che possono essere tratte dalla distribuzione. In alcuni casi ciò può causare problemi nella stima delle alluvioni di bassi AEP, ma spesso non provoca problemi nella pratica. [Estratto da Australian Rainfall and Runoff - Volume 1, Book IV Section 2.]

Spesso le alluvioni, in un determinato luogo, sono considerate avere un limite superiore chiamato "Probable Maximum Flood" (PMF). Esistono metodi standard per calcolare un PMF.

inserisci qui la descrizione dell'immagine


7
+1 Questo esempio mostra bene quanto sia effettivamente arbitraria la domanda: quando misurate le alluvioni in termini di scarica di picco, saranno inclinate positivamente , ma misurate nello scarico dei tronchi, (apparentemente) saranno distorte negativamente. Allo stesso modo, qualsiasi variabile positiva può essere ri-espressa in un modo semplice che distorce negativamente la sua distribuzione (semplicemente prendendo un parametro Box-Cox adeguatamente negativo). Dipende tutto da cosa si intende per "facile da capire", suppongo, ma questa è una domanda sugli studenti, non sulle statistiche.
whuber

5

Le variazioni (rendimenti) dei prezzi delle attività hanno in genere un'inclinazione negativa: molti piccoli aumenti di prezzo con alcune grandi riduzioni di prezzo. L'inclinazione sembra valere per quasi tutti i tipi di attività: prezzi delle azioni, prezzi delle materie prime, ecc. L'inclinazione negativa può essere osservata nelle variazioni mensili dei prezzi, ma è molto più evidente quando si inizia a guardare le variazioni dei prezzi giornaliere o orarie. Penso che questo sarebbe un buon esempio perché puoi mostrare gli effetti della frequenza sull'inclinazione.

Maggiori dettagli: http://www.fusioninvesting.com/2010/09/what-is-skew-and-why-is-it-important/


Mi piace molto questo esempio! Esiste un modo intuitivo per spiegarlo - essenzialmente, "gli shock al ribasso sono più probabili (o almeno, probabilmente più gravi) degli shock al rialzo"?
Silverfish

2
@Silverfish Direi che i risultati di mercato estremamente negativi sono più probabili dei risultati di mercato estremamente positivi. I mercati hanno anche una volatilità asimmetrica. La volatilità del mercato generalmente aumenta più seguendo i rendimenti negativi che i rendimenti positivi. Questo è spesso modellato con i modelli Garch, come GJR-Garch (vedi la voce di Arch Wikipedia).
Giovanni

3
Ho anche visto una spiegazione che le cattive notizie vengono rilasciate in gruppi. Non ho usato GJR-GARCH. Ho tentato di utilizzare il moto browniano multifrattale (Mandelbrot) per modellare l'asimmetria, ma non sono riuscito a farlo funzionare.
wcampbell

4
Questo è semplicistico. Ad esempio, ho appena preso un set di dati di rendimenti giornalieri su 31 indici azionari. Più della metà di essi ha un'inclinazione positiva (usando l'asimmetria di Pearson) e oltre il 70% è positivo sulla misura 3 * (media - mediana) / stdev. Per le materie prime si tende a vedere un disallineamento ancora più positivo, poiché gli shock della domanda e dell'offerta possono entrambi aumentare rapidamente i prezzi (ad esempio petrolio, gas e mais negli ultimi anni).
Chris Taylor,

5

L'età gestazionale al momento del parto (in particolare per le nascite vive) è lasciata distorta. I bambini possono nascere vivi molto presto (anche se le possibilità di sopravvivenza continua sono piccole quando troppo presto), picco tra 36-41 settimane e calo rapido. È tipico per le donne negli Stati Uniti essere indotte per 41/42 settimane, quindi di solito non vediamo molte consegne dopo quel punto.


4

Nella pesca ci sono spesso esempi di inclinazione negativa a causa di requisiti normativi. Ad esempio la distribuzione per lunghezza del pesce rilasciato nella pesca ricreativa; perché a volte esiste una lunghezza minima che un pesce deve avere per poter essere trattenuto tutti i pesci sotto il limite vengono scartati. Ma poiché le persone pescano dove tende ad essere un pesce di lunghezza legale, ci sono inclinazioni e modi negativi verso il limite legale superiore. La lunghezza legale non rappresenta tuttavia un limite. A causa dei limiti di bag (o dei limiti sul numero di pesci che possono essere riportati al molo), le persone scartano ancora i pesci di taglia legale quando ne hanno catturati di più grandi.

ad esempio, Sauls, B. 2012. Un riassunto dei dati sulla distribuzione dimensionale e le condizioni di rilascio dei dentici Red Snapper dai sondaggi sulla pesca ricreativa nel Golfo del Messico. SEDAR31-DW11. SEDAR, North Charleston, Carolina del Sud. 29 pagg.


"L'inclinazione verso le grandi dimensioni" sarebbe normalmente interpretata come un'inclinazione positiva , non "negativa". Forse potresti chiarire questa risposta con un'illustrazione di una distribuzione tipica? I meccanismi che descrivi - un limite superiore normativo e una certa tendenza a superarlo - potrebbero portare a un disallineamento negativo o positivo, a seconda della distribuzione troncata del pesce di piccola taglia (e in base a come vengono misurati i pesci: l'asimmetria della loro distribuzione di massa non sarebbe la stessa dell'asimmetria della loro distribuzione di lunghezza).
whuber

3

Alcuni grandi suggerimenti sono stati fatti su questa discussione. Sul tema della mortalità legata all'età, i tassi di guasto della macchina sono spesso una funzione dell'età della macchina e rientrerebbero in questa classe di distribuzioni. Oltre ai fattori finanziari già rilevati, le funzioni e le distribuzioni delle perdite finanziarie in genere assomigliano a queste forme, in particolare nel caso di perdite di valore estremo, ad esempio, come indicato nelle stime BRI III (Bank of International Settlement) del deficit atteso (ES), o nella BRI II il valore a rischio (VAR) come input per i requisiti regolamentari per le allocazioni di riserve di capitale.


2

L'età della pensione negli Stati Uniti è negativamente distorta. La maggior parte dei pensionati è più anziana e pochi si ritirano relativamente giovani.


2

Nella teoria delle matrici casuali, la distribuzione di Tracy Widom è distorta. Questa è la distribuzione del più grande autovalore di una matrice casuale. Per simmetria, il più piccolo autovalore ha una distribuzione Tracy Widom negativa ed è quindi inclinato a sinistra.

Ciò è approssimativamente dovuto al fatto che gli autovalori casuali sono simili alle particelle cariche che si respingono a vicenda, e quindi il più grande autovalore tende a essere allontanato dal resto. Ecco una foto esagerata (presa da qui ):

inserisci qui la descrizione dell'immagine


Le distribuzioni distorte a destra hanno un'asimmetria positiva e quindi non rispondono alla domanda.
whuber

@whuber: destinato a utilizzare l'autovalore più piccolo. Corretto.
Alex R.
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.