Pur non essendo esattamente un compito che mi è stato assegnato, ho dovuto riprendermi dai tempi di fermo forzati.
Una volta ero la SA per un sito finanziario piuttosto grande. Sapevamo che i nostri sistemi dentro e fuori, avevano una registrazione centralizzata e ottimi strumenti per setacciarli.
Improvvisamente (naturalmente molto vicino a una scadenza), tutti i cellulari impazziscono con i messaggi di avviso. Verifica che il sito non sia attivo e tutto il personale SA annulla ciò che sta facendo e inizia a indagare.
I log di Apache andavano bene, il database non generava errori e le cache giravano bene. Un sacco di risorse di riserva, la rete andava bene e nessuna implementazione recente.
10 minuti dopo, ho scoperto che uno degli sviluppatori aveva ottenuto l'accesso al sito e aggiunto un dado (); in un modulo oscuro relativo alla generazione di pagine.
In altre parole, il software ha fatto ciò che gli era stato detto di fare e non c'erano informazioni di registro che avrebbero aiutato.
Il GM della compagnia che gestiva il sito emise un grande sorriso e disse che voleva farci un orologio. Gli ho detto di svignarsela, non di toccare i miei server di produzione, che avevamo grandi piani di ripristino di emergenza, ma l'incompetenza del suo sviluppatore si è assicurata che nessuno di quei piani avesse preso il via.
Se avesse voluto controllare i nostri tempi di risposta, avrebbe dovuto almeno discuterne con il CTO e chiedergli se poteva farlo "un po 'di tempo oggi" o "questa settimana". In questo modo nessuno sarebbe stato incazzato e non avremmo perso tempo a discuterne.
L'intero evento è stato uno dei più poco professionali che abbia mai incontrato finora.