Come hai salvato il verde diventando verde? [chiuso]


21

Ai fini di questa domanda, sono interessato all'hardware relativo al server / datacenter.

Hai avuto una quantità misurabile di ROI scambiando l'hardware esistente con hardware più "verde" o ad alta efficienza energetica?

Ad esempio, VMWare afferma che è possibile ridurre il consumo di energia fino all'80% utilizzando la virtualizzazione. Ho anche sentito parlare di una soluzione di raffreddamento di HP che si suppone riduca una piccola quantità di utilizzo del motore (<25% credo). Google ha anche fatto qualcosa integrando un UPS nei suoi alimentatori per ridurre il consumo di energia.

Qualsiasi esperienza nel mondo reale sarebbe grandiosa, ma se si dispone di dettagli sui costi iniziali, sui risparmi e sui tempi di ammortamento su quali modifiche sono state apportate sarebbe fantastico. Non sono solo interessato alla virtualizzazione, sono interessato a tutto.


Grande idea! Stiamo concludendo un piccolo consolidamento di p2v e l'inclusione di alcuni ROI / $$ nel rapporto post-azione contribuirà notevolmente alla costruzione del supporto per la mia prossima proposta.
Kara Marfia,

Vai a supportare la mia proposta di sito all'indirizzo area51.stackexchange.com/proposals/15640/… per creare un sito eccezionale per tutte le domande sull'efficienza energetica.
Hanno Fietz,

Questa domanda è fuori tema in base alle attuali regole di attualità.
HopelessN00b

Risposte:


11

Questa è una domanda piuttosto grande. Esistono molti modi in cui le persone risparmiano energia e quindi a loro volta risparmiano $$ rendendo più ecologici i loro datacenter.

Penso che tu stia chiedendo del ROI su tali sforzi.

La virtualizzazione è certamente un ottimo esempio: acquista alcuni server fisici di grandi dimensioni (2 o 4 socket) con una tonnellata di memoria (32-128 GB), quindi converti i server fisici in Virtual Server (P2V) e spegni i server fisici.

VMware ha un caculator ROI

http://vmware.com/go/calculator

Ma dipende davvero - se inserisci 3 host VMware ESX in grado di gestire 40 carichi di lavoro del server e migra solo 10 o 20 - non vedrai il ROI.

Ma se hai contato i 40 alimentatori (2 per server o 900 Watt per scatola) e poi ti rendi conto che li stai sostituendo con 3 host ESX (2 per server o 1200 Watt per scatola), allora finisci per strappare 36.000 Watt (40 x 900) e sostituendolo con 3600 watt di potenza (consolidamento quasi 10: 1 dal punto di vista watt). Un risparmio netto di circa 32.000 Watt.

E renditi conto - i suoi circa 1 tonnellata di raffreddamento per ogni 3,5 kW di potenza - quindi se elimini 32.000 Watt, puoi risparmiare circa 30 tonnellate di raffreddamento (in modo da calcolare il costo dell'energia a 30 tonnellate di raffreddamento) e questo è un risparmio puoi misurare.

La mia matematica non è attiva - ho suonato fuori tutto il giorno (esposizione al sole).

Altre grandi aree in cui migliorare - Distributed Power Management - spegnere o condensare i carichi di lavoro durante la notte, se necessario non utilizzare i dischi in una SAN, ecc.

Sostituire le batterie nei sistemi UPS con volani ( http://www.pentadyne.com/ ).

Se possibile, utilizzare il raffreddamento ambientale, se possibile.

Metti i tuoi datacenter da qualche parte con un costo più economico per kW / ora.

Usa Deep Lake Water Cooling (grida ai pip di Toronto).


Il ROI era l'acronimo mancante dal mio vocabolario oggi, grazie, aggiornerò la mia domanda. Non ho ancora incontrato i volani, sembra molto interessante, grazie!
Bob,

Le batterie dell'UPS si caricano e si scaricano costantemente, quindi quasi sempre assorbono energia: un volano o un paio di volani immagazzinano energia cinetica sufficiente durante la scarica per fornire 3-5 minuti di energia (o abbastanza tempo per un generatore), quindi resettare in caso di un'altra interruzione di corrente. Lo svantaggio potrebbe essere che hai bisogno di un paio di loro.
Rob Bergin,

6

Come tutti hanno commentato VMware, parlerò di qualcosa di diverso.

Un altro modo per ridurre il consumo di energia è di non far funzionare l'hardware vecchio. I server che abbiamo acquistato oltre 5 anni fa consumano più del doppio della potenza e producono oggi quasi il doppio del calore dei server a basso consumo energetico.

Suggerimenti:

Cerca le valutazioni BTU dei server prima di acquistare, prova a utilizzare alimentatori efficienti e CPU a bassa potenza termica.

Rimuovere completamente i server una volta che non sono più necessari (ovvero: rimuoverli completamente dal data center)

/ Richy


5

Microsoft ha un white paper davvero eccezionale sulla gestione dell'alimentazione dei server:

Power In, Dollars Out: come bloccare il flusso nel Data Center

Ho imparato molto leggendolo e sono rimasto particolarmente sorpreso da questi grafici di consumo del server di alimentazione inattivo .

Il server A è del 2005 vintage:

Il server B è del 2008 vintage:

Ora si tratta di server abbastanza robusti, rispettivamente con 64 GB e 128 GB di memoria. Tuttavia, ciò non promette nulla di buono per il futuro, dal momento che la memoria è la cosa numero 1 di cui la maggior parte dei server ha bisogno di tonnellate e ne ottiene di più ogni anno .. eppure, a differenza delle CPU più recenti, non ha acceleratore e fa schifo tonnellate di energia il 100% delle volte!

Un'altra statistica interessante:

secondo l'Agenzia per la protezione ambientale degli Stati Uniti (EPA) "Report to Congress on Server and Data Center Energy Efficiency" ( collegamento PDF ), i server di produzione funzionano in media dal 5 al 15 percento.


4

Come tutti hanno notato, ci sono molti parametri da considerare.

Il più semplice è il potere. Verifica con il tuo datacenter la differenza tra le tariffe che forniscono alimentazione a 220 V contro 110 V: potresti essere sorpreso. Offrono un'opzione 18 V CC? (questo è spesso disponibile nei datacenter che si rivolgono maggiormente ai dispositivi di telecomunicazione, poiché è lo standard presente da decenni) Esistono alimentatori che consentono ai dispositivi x86 di esaurirsi su tutto quanto sopra. IIRc, gli alimentatori CC sono i più efficienti, seguiti dai 220V e quindi dai 100V. La corrente continua è più efficiente perché è solo una caduta di tensione tramite resistenza, non un convertitore CA / CC come negli alimentatori CA (le uscite di un alimentatore per PC sono +/- 12 V e +/- 5 V, giusto?). A volte è persino più conveniente inserire un convertitore CA / CC per rack e quindi far funzionare la corrente alternata al convertitore nel rack e quindi cortocircuitare l'alimentazione CC alle macchine.

Oltre al tipo di alimentazione, esiste un semplice uso di energia precedente: rotazione di array di unità inutilizzate, configurazione di macchine inutilizzate per dormire in modalità a basso consumo o per collegarsi online quando necessario (tramite controllo remoto dell'alimentazione o wake-on-lan) ma anche in altro modo chiudersi, virtualizzazione per consolidare i carichi di lavoro in un minor numero di macchine fisiche mantenendo la separazione logica.

Gli effetti del consumo di energia percorrono tutta l'equazione: meno energia significa meno calore di scarto significa meno raffreddamento necessario. È la pietra angolare del green ... ma è anche complicata e può essere difficile da misurare.

Il mio modo preferito di essere green in questi giorni è in realtà puntare e 'usare il cloud'. Amazon, Google, Rackspace e Linode sono più bravi di me e probabilmente anche di te. Scopri come applicare il cloud al tuo problema, rendendo così l'intero problema di provisioning del datacenter ... di qualcun altro.


2

VMware può offrirti dei risparmi energetici molto piacevoli. A titolo di esempio, avevo un sito con 8 server che venivano utilizzati solo durante il giorno, che erano su 8 scatole da 1U che eseguivano una singola applicazione con thread CPU collegata. Li ho spostati su 2x Quad Core 1RU e ho abilitato DPM.

Di notte e durante determinati periodi tutte le macchine venivano migrate su 1 server e il secondo server veniva spento. Quindi da 8 server fino a 1 (più SAN) per un tempo significativo.

Se il solo risparmio energetico pagherà mai per le licenze VMware è una domanda diversa.

DPM nella mia mente sarà comunque il bel risparmio di costi visibile. A seconda del proprio ambiente, ovviamente, alcune ore richiedono un tempo CPU significativamente inferiore rispetto ad altre e la possibilità di risparmiare energia e forse l'usura durante quel tempo ti farà risparmiare denaro.



2

Abbiamo un Nexsan SATABeast come memoria principale per la nostra SAN: può parcheggiare automaticamente le testine (risparmio di energia ~ 20%), ridurre i dischi SATA a 4000rpm (risparmio di energia del 40%) e infine arrestare i blocchi del disco (sì, 100% risparmio). La funzione si chiama AutoMAID.

Devo ammettere che non sto usando questa funzione sugli array che ospitano i volumi Vmware OS-VMFS, poiché non voglio che siano in ritardo. È possibile selezionare solo il parcheggio di testa e lo spindown e lasciare sempre in esecuzione i dischi.

Un'altra cosa che abbiamo fatto è far funzionare un inverter di calore (anziché A / C) nella stanza del server. È come l'aria condizionata, tranne per il fatto che è un flusso d'aria a due vie. Mantiene la sala server intorno ai 20 ° C e spinge l'aria calda fino al nostro seminterrato (dove riscalda il seminterrato e mantiene i nostri piani al 1 ° piano un po 'più caldi).


2

Ecco una rapida vittoria che abbiamo implementato: abilitazione della stampa fronte-retro. La maggior parte delle stampanti moderne è in grado di gestirlo facilmente e consente di risparmiare energia, inchiostro e carta.


1
umm, non risparmierebbe solo sulla carta?
Antitribu,

1

VMWare non è l'unico modo per risparmiare energia e denaro in un data center. È necessario pensare alle risorse di calcolo come a un singolo sistema e modificare / refactor per migliorare le prestazioni e l'efficienza dei sistemi. Questa è la differenza tra ingegneria e scherzi con i computer.

Qualche esempio:

  • Raffreddamento: molti posti con pavimenti sopraelevati posizionano piastrelle perforate in "corridoi caldi". È come far funzionare una stufa nel congelatore.
  • Raffreddamento: progettazione dello spazio del datacenter per essere confortevole per l'uomo
  • Energia: utilizzare le vecchie apparecchiature per fornire servizi perché è stato ammortizzato ed è "gratuito"

Non esiste un numero magico che crei uno schema particolare per il risparmio di energia o altre risorse giusto per te. Dipende da ogni sorta di cose diverse. Se ti trovi a New York, ad esempio, i tassi di potenza aumenteranno il ROI di ogni watt di potenza risparmiata 3 volte in più rispetto alla Carolina del Sud. L'automazione di un processo manuale può farti risparmiare denaro, a meno che alcuni dipendenti non siano in unione con una disposizione di 3 anni senza licenziamento.

Le dimensioni della tua azienda e il modo in cui conta anche tu conta. Se acquisti e deprezzi server, l'acquisto di meno server + licenze VMWare comporterà un risparmio fiscale e una riduzione dei costi di capitale. Ma se si affitta server, tali risparmi potrebbero essere inferiori. Se sei un'agenzia governativa che riceve finanziamenti federali, VMWare ti farà risparmiare una fortuna perché non dovrai eseguire più server dedicati a determinati programmi o sovvenzioni federali. (Ai federali non piace quando si combinano servizi su hardware che finanziano e si aspettano soldi indietro)


1

EDIT: Ho appena realizzato quanto siano stupidi quei calcoli :) - Li lascerò semplicemente dentro, non credo che non puoi farcela da solo, ma ho dimenticato durante la stesura del post che ho inserito anche alcuni brainfarts minori :)

Nessuno qui può / può darti una descrizione completa su come calcolare i tuoi risparmi. Dovresti dirci il tuo piano quali misure ritieni accettabili nel "diventare green" (odio quella frase tra l'altro).

Di solito dovresti andare a prendere le specifiche dei tuoi server, a scopo di calcolo devi usare il massimo consumo di energia, quindi la parte energetica è semplicissima.

  sum_of_kw_physical
-  sum_of_kw_virtual
-------------------
    sum_of_kw_saved
x        eur_per_kw
-------------------
          eur_saved
===================

Successivamente c'è un semplice costo dell'hardware. Questo probabilmente costa solo perché di solito hai bisogno di un po 'di ferro abbastanza grande per eseguire alcune istanze. Probabilmente vuoi anche un po 'di memoria centrale se non ne hai ancora una. Se vuoi davvero salvare dai tuoi vecchi server potresti usare un programma di restituzione del tuo fornitore o venderli su eBay o consegnarli a qualche scuola (il che rende il calcolo davvero complesso). Restiamo semplici:

             cost_of_new_iron
+         cost_of_new_storage
- savings_from_return_program
-----------------------------
                    real_cost
=============================

Successivamente, personalmente mi piacerebbe considerare i contratti di servizio per HW come qualcosa di proprio, perché a seconda di come è il tuo piano di ricarica potresti voler ottenere 3 contratti di servizio per un anno se la tua combinazione di opzioni lo rende più economico, come:

  • 1 ° anno - giorno lavorativo successivo,
  • 2 ° anno - stesso giorno lavorativo,
  • 3 ° anno - ora + scatola di ricambio

Una nota a margine: con la virtualizzazione in atto di solito si desidera contratti di supporto più veloci poiché meno hardware ha bisogno di fallire per poter andare in crash. Quindi sarà probabilmente più costoso per server rispetto a prima, a seconda del numero di server salvati sarà più economico o inferiore alla fine.

dipende da cosa ti serve. Un altro motivo per non avere questo in termini di costi hardware è che si è preparati in anticipo per ottenere ancora un altro anno o 2 di supporto e sapere quanto costa invece di sostituire l'hardware se questo è per qualche motivo necessario.

prendere in considerazione le licenze software e dire che 3 mesi di un amministratore a tempo pieno sono in grado di funzionare completamente alla stessa velocità di prima. Questo non è di 3 mesi per ogni amministratore perché la conoscenza si diffonde abbastanza velocemente di solito.

Altre cose che devi prendere in considerazione:

  • Rackspace
    • probabilmente alcuni risparmi anche qui
    • dai (più) spazio ai tuoi clienti paganti per euro forti se hai il tuo DC
    • avere meno rack da pagare
    • in caso di gabbia prendere in considerazione il trasferimento in una gabbia più piccola

Questo è quello che farei per le basi in termini di successo o fallimento finanziario "misurabile".

L'altro lato sarebbe il successo tecnico. Ci sono un paio di metriche di cui hai bisogno in anticipo:

Prendi questo in considerazione:

  • Quanto tempo impiega a conoscere i requisiti del progetto per capire la configurazione HW richiesta?
  • Quanto tempo impiega la chiamata dell'ordine per arrivare al nuovo HW?
  • Quanto tempo richiede l'esecuzione di un nuovo server (configurazione del sistema operativo)?

Non tenerne conto:

  • Quanto tempo occorre per configurare la rete (VLAN, ecc.)
    • Devi ancora avere a che fare con switch, VLAN, cavi. Lo metterei su un argomento separato

Ora considera quanto tempo impiegheresti nel caso peggiore , con la virtualizzazione sei quasi allo stesso livello che senza virtualizzazione. Il peggio è il caso in cui ho bisogno di ottenere un nuovo grande server lucido per $ large_amount_of_euros solo per ottenere una singola istanza in esecuzione. Dato che probabilmente devi prenderti cura delle stesse decisioni di prima, i tempi di consegna e così via richiedono lo stesso tempo.

Il caso medio sarà che probabilmente sarai attivo e funzionante in pochissimo tempo perché tutto ciò che devi fare è avviare una nuova istanza. Devi ancora aspettare che il progetto ti dica di cosa hanno bisogno in modo da poter capire i requisiti HW. Basta configurare lo strumento di distribuzione per impostare il sistema operativo nel modo in cui l'avvio richiesto e il resto sarà curato dal framework di distribuzione e configurazione.


1

Penso che il green dovrebbe essere implementato in modo olistico. Abilitare il controllo e la contabilità della stampante e vedere chi sono i grandi spesi. Utilizzare invece XPS o PDF tramite e-mail. Ho visto grandi risparmi semplicemente esaminando i processi aziendali e rinnovandoli per coinvolgere meno stampa, meno server, ecc. Sono stato in grado di consolidare o eliminare il 30% di un ambiente esistente senza spendere un centesimo. (quindi è possibile esaminare i costi di licenza, ecc. per determinare se ha senso separare nuovamente i servizi in un ambiente virtuale). Inoltre, diventare green significa consentire alle persone di telelavoro. Ciò potrebbe non far risparmiare di per sé i soldi dell'azienda, ma è verde e di solito rende felici i dipendenti. Anche diventare verdi potrebbe costare capitale adesso, ma risparmiare più tardi. Nel caso in cui le persone stessero stampando molto era perché avevano tutti monitor scadenti,

Lo stesso vale per i server. L'esecuzione di un sacco di server CPU scadenti 1 u potrebbe essere economica per server, ma costa più che consolidare tali servizi su 1 costoso server CPU. Ad esempio alcuni vecchi 1u dells (p4 procs) hanno alimentatori da 500w. Una nuovissima linea di fondo ML150 viene fornita con un alimentatore da 650w, ma viene fornita con circa il triplo della capacità di elaborazione. Un altro modo per risparmiare energia per fare in modo che i sistemi si avviino da san. Ci sono molti dischi che girano solo per avviare un sistema che ha l'altro 90% sul sistema operativo. Boot from san ha salvato 1 intero chassis pieno di dischi nel datacenter.

Concludendo, tutte queste analisi hanno consentito di risparmiare circa il 40% su base annua con il CapEx rimborsato in circa 20 mesi


Se sei abbastanza grande, inizia a fatturare i costi di stampa ad altri centri di costo.
SpaceManSpiff,

0

La soluzione VM è piuttosto semplice da dimostrare.

Considera il consumo energetico di un tipico server 1U, 2 socket CPU, molta RAM, al massimo 3 o 4 dischi, due alimentatori ridondanti.

Ora guarda il suo consumo mentre è in gran parte inattivo e quindi al 100% di utilizzo. Mentre al 100% il consumo di energia è più elevato, il consumo di base del minimo è una percentuale sorprendentemente alta.

Ora considera di consolidare 4 server di questo tipo in una singola istanza VMWare / XEN / HyperV su una dual box a 4 core, con 2 CPU assegnate a ciascuna VM. In media il consumo in idle sarà più alto, dato che di solito sarà più occupato, ma il sovraccarico di essere solo è 1/4 della quantità di 4 scatole fisiche separate.

Dopodiché, tutto il resto è molto buono in termini di risparmio!


Ma hai davvero fatto questo e misurato il successo?
Bob,

Questo calcolo di solito funzionerà, ma devi essere sicuro che il sovraccarico della VM non sia eccessivo e che il consumo inattivo del server di grandi dimensioni non sia troppo elevato (superiore a 4 * idle_small_server_consumption).
schnaader,

0

Maggiore è il data center, maggiore è la probabilità che il risparmio energetico per sistema o per rack non sia una quantità misurabile e che non vi sia un'entità di gestione che se ne preoccupi. I miei sforzi per utilizzare le configurazioni e la virtualizzazione a basso consumo non sono stati finanziati da alcuna iniziativa ecologica, né sono stati affidati dall'alta direzione.


0

La virtualizzazione ridurrà le dimensioni del footprint del server fisico, in modo da ottenere risparmi di energia e manutenzione. Abbiamo riscontrato una riduzione del 62% nei server fisici. Ovviamente non otterrai necessariamente risparmi amministrativi ridotti perché ti basta spostare le immagini del server, non ridurle.

Ma penso che i risparmi energetici della semplice sostituzione di vecchi fisici con nuovi siano altamente sopravvalutati, a meno che tu non sia un negozio super denso. Ad esempio, IBM afferma che la sua nuova scatola di classe x3650 M2 consente di risparmiare $ 100 / anno in elettricità. Sbadiglio. Non posso essere entusiasta di spendere $ 3K + per risparmiare $ 100 al mese. Suppongo che potresti dire che si ripaga da solo in 3 anni, ma non sottovalutare i costi di gestione di una migrazione a nuovo hardware. Inoltre, il nuovo hardware tende a diventare sempre più efficiente dal punto di vista energetico senza che lo chiediamo, quindi la mia strategia è quella di acquistare nuovi dispositivi e virtualizzare quando ha senso in base al valore aziendale, non solo per essere ecologici.


0

Se si esegue qualsiasi tipo di server farm in cui è possibile portare singoli server online e offline, è possibile usufruire di Wake On Lan (WoL) . Quando il carico sul pool esistente è abbastanza elevato, si riattivano più server. Quando il carico è abbastanza basso, si avvia lo spegnimento dei server. Nota che questo può essere fatto in aggiunta alla maggior parte delle altre idee "verdi". Nessun server consuma meno energia di uno spento.


0

Non sono un amministratore di sistema, ma un consulente energetico e uno sviluppatore di software, ma c'è una storia di un datacenter, che adoro raccontare, perché mostra quanto lontano puoi portarlo se sei determinato.

Ho partecipato a una conferenza sull'IT verde e c'era un ragazzo di una società di consulenza a Brema, in Germania, che gestiva il proprio centro dati per sé e per i propri clienti. Non enorme, ma per il tipo di azienda, era abbastanza grande, forse una cinquantina di macchine. Inoltre, è in costante crescita.

Un giorno, il CEO, che stava tenendo il discorso, perse la pazienza con l'amministratore di sistema che richiedeva dispositivi di raffreddamento e ventilazione sempre più potenti mentre la loro sala server cresceva e cresceva. Questi dispositivi hanno iniziato a disegnare tanto sul budget quanto sui server stessi. La prossima volta che l'amministratore voleva un'unità di raffreddamento, fece sedere il ragazzo e spiegò tutto ciò che sapeva sul perché la sala server doveva essere a 20 ° C. Si è scoperto che nessuno lo sapeva davvero, quindi hanno iniziato una ricerca approfondita.

La prima cosa che hanno capito è che la temperatura sui componenti hardware è importante, non la temperatura ambiente. Quindi hanno compilato un elenco di tutti i componenti che stavano usando e hanno ottenuto dati dettagliati sulla tolleranza al calore dai produttori.

Successivamente, si sono assicurati di avere letture della temperatura in tempo reale costanti da destra sui componenti, almeno per un campione abbastanza grande.

Ora, hanno iniziato lentamente a consentire alla temperatura ambiente di salire, tenendo d'occhio la temperatura dei componenti. Solo questo ha permesso di raggiungere i 25-30 ° C. Quando si stavano avvicinando lentamente alla temperatura critica dei componenti, questi erano ancora molto più caldi della stanza, quindi hanno cercato di migliorare la circolazione dell'aria e di alzare le unità di ventilazione. L'idea principale era di andare il più lontano possibile solo sulla ventilazione, perché è molto più economico del raffreddamento.

Questo processo ha attraversato un paio di iterazioni e hanno ripetutamente perfezionato e aggiornato il loro sistema di ventilazione, aumentando al contempo la temperatura media della stanza. Quando arrivarono a 45 ° C, iniziarono a sentire che il loro margine di sicurezza stava diventando troppo piccolo e non potevano migliorare ulteriormente la ventilazione. Hanno fatto un passo indietro a 40 ° C e questa è ora la temperatura operativa permanente del data center.

Attirano l'aria per la ventilazione dall'esterno, il che aiuta molto nei freddi inverni tedeschi. Il raffreddamento deve essere attivato solo nelle giornate estive particolarmente calde. In inverno, riutilizzano il calore estratto dal data center per integrare il sistema di riscaldamento. In questo modo, la bolletta energetica combinata per energia e riscaldamento per l'intera azienda è diminuita dell'80%.

La sala server è ora molto calda e molto rumorosa, a causa della forte ventilazione. Hanno dovuto mettere un ulteriore isolamento acustico sulle pareti, per non disturbare gli uffici della porta accanto. Gli amministratori non entrano quasi mai nella stanza, perché non è esattamente un ottimo ambiente di lavoro. Per la manutenzione programmata, iniziano a raffreddare la stanza due giorni prima. In caso di emergenza, gli amministratori indossano protezioni per le orecchie e si trasformano in costume da bagno (senza scherzare), prima di entrare.


Vai a supportare la mia proposta di sito all'indirizzo area51.stackexchange.com/proposals/15640/… per creare un sito eccezionale per tutte le domande sull'efficienza energetica.
Hanno Fietz,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.