E poi... Disastro!
Questa qui non e' una storia "vecchia", in effetti e' una storia relativamente nuova. Tanto per dimostrare che non cambia mai un cazzo.
Credo di aver gia' menzionato $noihostiamoroba, che sono quelli che... hemmm... hostano la nostra roba. Questa gente e' tedesca. Ed io ho sempre reputato i tedeschi gente intelligente ed organizzata. Tuttavia la mia fiducia nel genere umano sta raggiungendo livelli a dir poco abissali, grazie anche alle "performance" di questa gente.
Per svariate ragioni che sono molto complesse e non sto qui ad argomentare, la nostra roba e' hostata da loro, ma il contratto e' a nome della nostra "casa madre". Il che ci mette nella strana condizione che se vogliamo che loro facciano qualche cosa con la nostra roba, noi dobbiamo domandare alla nostra casa madre di chiedere a loro di fare qualche cosa.
Ovviamente la nostra casa madre non sa una sega di come sono organizzate le nostre cose e 9 volte su 10 non capisce un tubo di quello che vogliamo fare, ragion per cui prima di "passare" la comunicazione fanno un sacco di domande idiote, finche' non si decidono e di solito il "ticket" che viene aperto a $noihostiamo e'... carente di certe basilari informazioni. Ragion per cui $noihostiamo domanda a $casamadre che cappero vuol dire questo-o-quello, i quali girano la domanda a noi, che rispondiamo e loro ripetono a $noihostiamo che fa un'altra domanda e... Ed e' chiaro che questo non e' proprio un modo "efficiente" di lavorare, che si traduce nel fatto che qualunque richiesta, anche la piu' banale, richiede giorni, se non settimane, per essere elaborata.
Quando poi si tratta di richieste di "emergenza", diventa anche peggio.
In teoria, noi dovremmo essere abilitati a mandare direttamente una richiesta di "emergenza" all'hosting e quindi immediatamente dopo chiamare l'hosting per attivare la "procedura di emergenza". Il problema e' che le uniche 3 volte che tale situazione si e' verificata, ci siamo ritrovati ad essere rimbalzati tra l'hosting e l'help-desk della nostra casa madre molteplici volte prima che qualcuno cominciasse a chiamare il capo, il capo del capo, il capo del capo del capo, il vicepresidente, il vice-vice presidente e compagnia cantante.
Non dovrebbe essere una sorpresa quindi, che nel "piano annuale" e' comparsa una voce "spostare hosting su Azure/Google".
Il che e' abbastanza ridicolo, dato che siamo passati da un hosting "generico" ad un hosting "speciale" per ottenere un servizio migliore... Comunque sia, sicuramente fino alla fine dell'anno, e probabilmente oltre, siamo con questi e quindi dobbiamo sorbirceli.
E adesso che siete al corrente della faccenda, possiamo andare avanti con la storia vera e propria. Che incomincia con una mail apparentemente normale ricevuta in una giornata apparentemente normale.
La mail, da $noihostiamo e diretta al "Operations Team", riferiva all'ambiente di test (che non e' monitorato) ed era, ovviamente scritta in tedesco. Perche' $noihostiamo sono tedeschi e loro scrivono e comunicano solo ed unicamente in tedesco. Fottesega se noi non siamo tedeschi e gli abbiamo gia' detto piu' di una volta che e' meglio se scrivono in inglese. Nopes. Loro sono tedeschi e parlano solo tedesco.
Dopo una visita a Google Translate, il contenuto della mail risulta essere:
Da: $noihostiamo
A: OperationsTeam
Subject: Storage database test
Sbidigulla (google translate ha fallito qui), risultassero che lo storage del server e9x852Y2G25a47353225Z73R69W7yRX7E54U ($noihostiamo ha uno strano concetto dei "nomi server") sia vuoto al 3%. Pregasi eseguire vuotamento. Informatisi doverosi.
Il che, dopo averlo processato e' stato tradotto come: il server quello-che-e ha un disco pieno al 97% e sarebbe meglio pulirlo.
Dopo una ricerca nella loro "documentazione dinamica", che e' delle dimensioni dell'enciclopedia britannica e tutti i commenti sono (devo dirlo?) in tedesco, intuisco che il problema e' che uno dei dischi del database server di test e' sul pienotto andante. E qui casca l'asina.
Per ragioni di performances, si e' deciso di avere i database servers (tutti, test e produzione) come macchine FISICHE invece che virtuali, ed i dischi sono anche loro veri dischi in Raid hardware e non "fette" di storage virtuali. Il che ha comportato certi problemi, come quando il raid controller del db di produzione ha cominciato a segnalare che le batterie erano scariche ed il tecnico di turno ha deciso di spegnere il server e sostituire le batterie. Alle 11.30 di un giorno lavorativo. Senza informare nessuno. Molte madonne furono disturbate quel giorno.
Ma uno dei grossi impedimenti e' che... noi non abbiamo nessun accesso al database server. Possiamo usare il database, ma non possiamo ne' fare login sulla macchine ne' altro. Ed il disco in questione e' un disco "condiviso" che era stato aggiunto da $noihostiamo per poter trasferire i dati dal database di produzione a quello di test e fare (per l'appunto) dei test. Quindi dopo un paio d'ore di ravanamento parte la prima mail di risposta:
Da: OperationsTeam
A: $noihostiamo
Subject: Re: Storage database test.
Carissimi, quella macchina e' gestita interamente dal vostro gruppo Infrastrutture, il disco in questione e' usato dallo stesso gruppo per trasferire dati dall'ambiente di produzione. Noi non abbiamo nessun accesso alla macchina o all'ambiente e quindi non siamo in grado ne' di ripulire il disco ne' di dire cosa potrebbe essere eliminato. Per cortesia contattare il vostro gruppo Infrastrutture.
Tutto chiaro no? Ma questi, devo ripeterlo, sono tedeschi. E del tipo sbagliato. Perche' il giorno dopo mi ritrovo un'altra mail scritta in tedesco che, di nuovo, richiede le cure di translate per essere letta.
Da: $noihostiamo
A: OperationsTeam
Subject: Re: Re: Storage database test
GullaPulla, risultassero che lo storage del server e9x852Y2G25a47353225Z73R69W7yRX7E54U rimanesse vuoto al 1%, pregasi eseguire vuotamento con massima celerita' subito prestissimo. Inforatisi deverosi con prioritismo.
Al che incominciano a girarmi un pelo i coglioni...
Da: OperationsTeam
A: $noihostiamo
Subject: Re: Storage database test.
Come gia' spiegato, quella macchina e quel disco sono gestiti dal vostro gruppo Infrastrutture, domandate a loro il da farsi.
Dopo di che', ravano nell'agenda finche' non trovo il numero di telefono e la mail del tipo che gestiva la cosa a livello infrastruttura e provo a contattare direttamente lui. Ovviamente la mail rimbalza con "indirizzo inesistente" ed il numero di telefono risulta non collegato a niente. Invio per tanto una mail all'indirizzo generico domandando chi cappero e' che dovrebbe gestire la cosa e rimango in attesa.
Nel pomeriggio, uno dei nostri programmatroti viene a lamentare che ha richiesto di fare una operazione di "copia" dal db di produzione a quello di test ed e' fallita. Io ipotizzo che il problema e' che questa gente non ha MAI pulito quel famoso "disco condiviso" e questo e' ora pieno zeppo di ennemila copie. Ma tante', io non posso farci niente a parte informare $noihostiamo della cosa.
Il mattino dopo, un'altra mail attende le attenzioni di Translate...
Da: $noihostiamo
A: OperationsTeam
Subject: Re: Re: Re: Re: Storage database test
Lo storage del server e9x852Y2G25a47353225Z73R69W7yRX7E54U niente piu' vuoto e', vuotamento deve con massima celerita' avvenire.
Comincio quindi con il rispondere alla loro mail:
Da: OperationsTeam
A: $noihostiamo
Subject: Re: Storage database test.
Rileggetevi la mia cazzo di mail di ieri. QUELLO STRACAZZO DI SERVER E' GESTITO DAL VOSTRO GRUPPO INFRASTRUTTURE, noi NON ABBIAMO NESSUN ACCESSO, quindi DOMANDATELO A LORO COSA CAZZO FARNE.
E dopo di che, inizio la procedura "escalation", che consiste nel mandare mails a tutti quelli che potrebbero essere lontanamente interessati alla cosa e comincio a chiamare tutti i numeri di telefono disponibili. Verso le 3 del pomeriggio finalmente ho accalappiato al telefono qualcuno che ha la vaga idea di che cosa cazzo sto parlando e comincia ad informare qualcuno che potrebbe remotamente avere un'idea del da farsi.
Alle 7 di sera ho parlato con almeno 10 persone diverse tra la nostra casa madre e $noihostiamo, nessuno dei quali ha la piu' pallida idea di chi del gruppo "infrastruttura" sia responsabile della cosa e chi ha i permessi o le autorizzazioni per fare qualche cosa. Sono tutti d'accordo che quella roba non dovrebbe essere domandata a noi, ma sembrano abbastanza reticenti sul CHI dovrebbe gestirsela...
Nel corso della notte, protetto dall'oscurita', qualcuno procede a pulire quel cazzo di disco, perche' il mattino dopo ricevo un'ennesima mail che mi dice che il problema e' stato risolto. La mail e', ovviamente, sempre in tedesco.
L'incidente (tra virgolette), ha prodotto uno strascico di mail tra noi, $casamadre e $noihostiamo perche' a questo punto abbiamo cominciato a rompere i marroni per capire chi e' responsabile di cosa e quale sarebbe la corretta procedura di "escalation" e perche' questi coglioni insistono nel domandare a NOI roba che LORO dovrebbero gestire e di cui noi non possiamo dire niente, mentre insistono nell'eseguire operazioni semi-distruttive senza informare nessuno quando una maillina potrebbe essere gradita.
Ora, io non ho idea di come le cose funzionino in quel posto e come accidenti e' possibile che quella gente, nonostante il tempo ed i casini, continuino a ripetere sempre gli stessi errori, ma ho la vaga impressione che non siano molto orientati al miglioramento. Vabbe', Azure e Google sono sempre un'opzione.
Davide
09/10/2018 12:43
e no non era italiano era proprio tedesco!
