Tales from the Machine Room


Home Page | Comments | Articles | Faq | Documents | Search | Archive | Tales from the Machine Room | Contribute | Login/Register

Indiana BOFH ed i Predatori del CED Perduto

Sembrava una giornata molto tranquilla, T e' a casa a cercare di sviluppare una applicazione (o meglio, ad adattare una applicazione) per un cliente, H e' ancora in 'recupero' dopo l'esplosione, Bart e' alla co-locazione. Il che sostanzialmente lascia ME... con licenza di cazzeggiare. E cazzeggio e' fino circa alle 11.30, poi arriva Wendy (la nostra segretaria) con il Problema.

W - Ha chiamato SL di $dittafancazzisti, hanno un guaio con un paio di macchine che vennero installate tempo addietro e di cui noi dovremmo occuparci.
IO - Ok, molla il foglio.
W - No, il fatto e' che quelle macchine sono per la LAN del loro ufficio, quindi qualcuno dovrebbe andare la a vedere...

Oh che bello. Cosi' vado a $dittafancazzisti, li' vengo accolto da UL, con l'altisonante titolo di Direttore dell'IT.

UL - ...quindi abbiamo avuto questo problema con l'ups e praticamente tutti i server si sono spenti...
IO - Ok, e perche' non li avete riaccesi?
UL - Non e' cosi' semplice, e' un sistema altamente integrato yada yada, processi concorrenti blah blah, massima ridondanza yada yada...
IO - ?? Come sarebbe a dire??
UL - Mah... il vostro collega H non vi ha spiegato?
IO - H e' momentaneamente in ferie, quindi no, non ha spiegato un tubo. Avete della documentazione su sta cosa?
UL - Ah si, c'e' un manuale...

E mi molla il malloppazzo. Ok, sti rimbamba hanno una manica di server, di cui uno, che sarebbe quello principale e che chiameremo A tanto per capirci, pare che abbia dei file di configurazione che sono su una partizione montata via NFS da un altro server, che chiameremo B, il quale a sua volta ha qualche accrocchio di middelware scoobydoobydo che richiede per avviarsi una autenticazione via server Radius che e' installato sul server C, il quale a sua volta richiede saildiavolocosa su server A...

He...hummmm... 'spetta 'n moment... allora, per avviare server A ti serve il server B, ma per avviare B ti serve C e C dipende da A... oh che bello!

IO - (rivolto ad UL) E chi sarebbe il Torquemada che si e' sognato sta cosa?

Si, perche' bisogna essere Himmler o Hannibal Lecter per mettere in piedi una roba del genere. Comunque, nella documentazione c'e' anche la "procedura per il riavvio del sistema", che e' una roba del genere:

  1. Pregare Cthulhu che un asteroide distrugga l'edificio risolvendo il problema per voi
    (no, ok, questo punto non c'era, l'ho aggiunto io a matita...)
  2. Avviare server B in single-user mode
  3. Avviare server A in single-user mode
  4. Mentre A si avvia e quando raggiunge il punto X, avviare su B il processo tal-de-tali
  5. Avviare C in single-user mode
  6. Avviare su A il processo tal-de-tali
  7. su C fare un ping -c 10 -s 128 verso B
  8. su A avviare il processo tal-de-tal-altro

E va avanti cosi' per un bel po'... in sostanza il sistema e' imbrogliare i 3 rottamoni facendogli credere che i vari servizi siano gia' su quando questi non lo sono. Sembra facile eh?

Quello che ancora non ho detto e' che i 3 cosi sono agli estremi opposti della sala macchine di $dittafancazzisti, separati da quello che potrebbe essere solo descritto come un percorso alla Indiana Jones con cavi di rete tesi in mezzo ai corridoi, mattonelle del pavimento pericolanti, racks proni al crollo e CL che sputano freccette avvelenate con le cerbottane (ok, no, quest'ultimo particolare non c'era, ma non mi sarei stupito piu' di tanto)

Ah, ed ovviamente in tutta la sala macchine c'e' UN solo monitor ed UNA sola tastiera.

Ok, indosso il mio cappellino da BOFH, la giacca da moto, faccio schioccare un cavo di rete a mo' di frusta e recupero dagli uffici attinenti 3 tastiere e 3 monitors con relativi cavi di alimentazione, dopo di che procedo a mettere in pratica cio' che dice la documentazione. Al terzo o al quarto tentativo imbrocco il tempo giusto ed i 3 magi sembrano riavviarsi.

Dopo essermi ripreso dall'immane faticata sono arrivato persino a suggerire ad UL di mettere in piedi un sistema diverso, o come minimo a mettere i 3 maledetti nello stesso rack e con un KVM, sono quasi pronto per ripartire.

UL - Ma in effetti stavamo pensando ad un sistema piu' robusto, distribuito su 2 datacenter con un load-balancer geografico e...

Un serpente velenoso! Voglio un serpente velenoso. Anzi no, 2! Che li metto in cluster!

Davide
28/07/2008 00:00

Previous Next

Comments are added when and more important if I have the time to review them and after removing Spam, Crap, Phishing and the like. So don't hold your breath. And if your comment doesn't appear, is probably becuase it wasn't worth it.

52 messages this document does not accept new posts
tommasotommaso By tommaso - posted 28/07/2008 08:49
Muahahahah

Ma com'è che li trovi tutti tu?? Ti hanno maledetto?


deve essere
La Maledizione del Brasiliano Morto..


Provato a fare qualche rito per scacciare il malocchio?

Contatta lui: http://www.magoanubi.com/ (Per chi non lo conoscesse, cercate qualche video in giro per la rete )

Ciao bigD in bocca al lupo!


djtwentydjtwenty By djtwenty - posted 28/07/2008 08:51

Avresti anche potuto suggerirgli di spostarli in edifici diversi i 3 server :D

Hai saputo chi è il marziano che ha progettato l'accrocchio malefico?


lo stesso che metteva i files .mailfilters in /var/spool/virtual come gia' raccontato


JurghenJurghen By Jurghen - posted 28/07/2008 08:51

Quando scopriranno le VPN stai pur certo che metteranno i tre server in tre continenti diversi... uno sicuramente a Mordor, senza accesso remoto!


non ho alcun dubbio


LorenzoLorenzo By Lorenzo - posted 28/07/2008 09:01

Una delle soluzioni non potrebbe essere virtualizzare con vmware (o simili)?
Davide, tu che ne pensi? Già provata?


non parlarmi di VMWare per l'amor di Chtuhlu! Su quell'hardware ci ho gia' fatto una lotta all'ultimo sangue...


P.s.: oggi mi hai fatto spanzare!


GamaGama By Gama - posted 28/07/2008 09:01

Come sempre le tue storie sono un ottimo rimedio per i lunedì come quello di oggi in cui il monitor di rete dava tutto bello rosso ed isolato dal mondo con conseguente concerto telefonico.
Vedo comunque che le invocazioni verso Grandi Antichi sono ben diffuse tra chi ha a che fare giornalmente con apparati informatici assortiti. (A tal pro se non lo conoscessi ti consiglio: http://www.macguff.fr/goomi/unspeakable/ )

Gama

DoaDoa By Doa - posted 28/07/2008 09:14

Che dire Davide... una cosa simile mi era capitata nel 2001 quando facevo un presidio presso $MinisteroItaliano, dove mi hanno chiamato perchè gli serviva una mano per avviare una procedura... il problema è che la procedura doveva essere avviata contemporaneamente su 2 server che erano su 2 rack diversi e dalle parti opposte della sala macchine(la quale misurava qualche km), il tutto coordinato con il net send per lanciare la procedura contemporaneamente...
che risate :D

LorenzoLorenzo By Lorenzo - posted 28/07/2008 10:34

"non parlarmi di VMWare per l'amor di Chtuhlu! Su quell'hardware ci ho gia' fatto una lotta all'ultimo sangue..."

Eh.. potresti portarci la tua esperienza con una "storiella" infrasettimanale.. Penso che, oltre a me, potrebbe interessare a molti tuoi "lettori". Grazie!


la "storiella" e' gia' scritta, ma sara' pubblicata solo tra un po'... in ogni caso, un sunto e' "Sun Fire X1200 + VMWare = problemi a non finire"


SkySky By Sky - posted 28/07/2008 11:24

Ma non avevi un $famoso_cavo_usb_lunghissimo?...

CthulhuCthulhu By Cthulhu - posted 28/07/2008 12:33

Oh, è lunedì anche qui. Vedete di non evocare troppo, eh. :P


chiediamo venia


Lucia&BrunoLucia&Bruno By Lucia&Bruno - posted 28/07/2008 14:04

Abbiamo scoperto or ora un sito ghignosissimo... ve lo segnaliamo: http://www.votacthulhu.it/index.php

Saluti

AlbertoAlberto By Alberto - posted 28/07/2008 14:04

"Al terzo o al quarto tentativo imbrocco il tempo giusto ed i 3 magi sembrano riavviarsi."


È una citazione verso Evangelion
(http://nonciclopedia.wikia.com/wiki/Magi_system) ?


no, se fossero stati 4 server li avrei senz'altro chiamati "Morte", "Guerra", "Fame" e "Pestilenza"... essendo solo 3...


In ogni caso sembra applicarsi a pennello.


dissento! i "magi" erano supercomputer, questi sono tre scassoni



DavideDavide By Davide - posted 28/07/2008 15:42

cito una frase da Indiana Jones 4 oppurtunamente modificata:

"Tutti i sistemisti che ho incontrato avevano un difetto: non erano te…"


E' questo che ti hanno sussurrato i server A,B,C ?


no, mi sussuravano "ricordati che devi morire..."


Andrea B.Andrea B. By Andrea B. - posted 28/07/2008 15:42

Il problema è che c'è tanta carenza di cervello.

Domani vado da un cliente per assistere Bob di $aziendaregionale a mettere su un accrocco per $sistemadiprenotazione che nonceprobelmamassimo5minuti direttamente in produzione.

Stasera faccio il rito invocando Cthulhu.


GiordanoGiordano By Giordano - posted 28/07/2008 15:42

Oramai "Pestilenza" è passato di moda... c'è "Inquinamento" adesso :D


zut, "global warming"...


jacksparrowjacksparrow By jacksparrow - posted 28/07/2008 16:03

"1. Pregare Cthulhu che un asteroide distrugga l'edificio risolvendo il problema per voi"

Ti stupiresti più di tanto se una volta o l'altra trovassi davvero un'istruzione del genere? :-\) Visto i fenomeni con cui hai a che fare...



mi stupirei si' se le istruzioni non le ho scritte io...


DAVIDE SANTO SUBITO


esagerato...


MarcoMarco By Marco - posted 28/07/2008 19:27

Pregare Cthulhu che un asteroide distrugga l'edificio risolvendo il problema per voi

Non so perché ma mi ricorda Dilbert


Alex ArnzAlex Arnz By Alex Arnz - posted 28/07/2008 19:29

Mi sembra quasi il sistema progettato dal mio capo per avvisare gli utenti dell'avvenuto cambio password forzato della loro mailbox.

Il suo sistema prevede un messaggio di posta elettronica.

Io: ma se non sanno la password, come fanno ad entrare nella loro mailbox a leggere quella nuova?

Lui: ci scrivono una email e noi cambiamo nuovamente la password e gliela rimandiamo sempre via mail.


tanto tempo fa il mio SL suggeri' di mandare una mail agli utenti per informarli che il server di posta era down... dopo che gli ripetei la cosa per un paio di volte comincio' ad intuire che qualche cosa nel suo suggerimento era sballata


ImGladImGlad By ImGlad - posted 28/07/2008 19:29

Ma ti è sfuggita la soluzione + ovvia: tirar su un 4o server, dal nome STELLA COMETA, che possa dirigere (riavviare) i 3 Magi ! ^_^


l'asteroide e' secondo me la soluzione migliore


GeoGeo By Geo - posted 28/07/2008 19:29

L'impostazione di quel sistema e' una clamorosa dimostrazione di come contravvenire la terza legge dell'informatica "keep it simple and stupid"
Ovviamente la prima legge e' "se funziona non toccarlo" e la seconda e' "sei proprio sicuro di volerlo ottimizzare?" :-\)


DinoDino By Dino - posted 28/07/2008 19:29

ma solo a me ha fatto sbellicare questa ?

"Un serpente velenoso! Voglio un serpente velenoso. Anzi no, 2! Che li metto in cluster!"

steevesteeve By steeve - posted 29/07/2008 08:18

bello... li voglio anch'io 2 serpi in cluster (per ora ho solo uno stuolo di boss in cluster)...

Ma in attivo/passivo o attivo/attivo?

Nel secondo caso, cosa ci mettiamo davanti per fare load balancing?

:-)


Indiana Bofh


Riccardo CagnassoRiccardo Cagnasso By Riccardo Cagnasso - posted 29/07/2008 08:18

Ma stai scherzando?

gingerginger By ginger - posted 29/07/2008 08:18

@Dino: no no mi sono scompisciata anche io...

e ho pensato pure di metterla in pratica :-\)


Stefano GronchiStefano Gronchi By Stefano Gronchi - posted 29/07/2008 08:18

Questa la stampo e me l'appendo in camera!

Che mondo sarebbe senza Davide Bianchi?
[Hint: un mondo a $donnedifacilicostumi?]

LorenzoLorenzo By Lorenzo - posted 29/07/2008 08:18

Per il punto 1 (Pregare Cthulhu che un asteroide distrugga l'edificio risolvendo il problema per voi), consiglio di conoscere con esattezza il momento dell'impatto, in modo da allontanarsi per tempo dalla sede di $dittafancazzisti. :-\)

Alex ArnzAlex Arnz By Alex Arnz - posted 29/07/2008 08:19

Oltre a quella di prima abbiamo uno script in cron. Se il mailspool è più del 99% manda (si fa per dire) una email a tutti i managers, se il mailspool è sotto al 99%, manda una email agli amministratori per dire che tutto è OK. La prima parte non funziona mai, quando lo spool è pieno, non riesce mai a spedire neanche quella email. Quindi basterebbe la seconda parte. L'idea è quella che "non ti arriva l'email di controllo? Il server è bloccato". Il che implica che se lo spool è pieno, non ti arriverebbe comunùe, quindi il controllo sul file system è assurdo di per se.
ma il bello è che quel cron gira ogni minuto.
Tutti gli amministratori hanno una regola sul mail reader che cancella quella famosa email.

Non funziona il mailserver? Gli utenti iniziano a chiamare incazzati. Questo "script" non si inceppa mai ;-\)

LocomotivaLocomotiva By Locomotiva - posted 29/07/2008 08:19

IO credo di sapere chi l'ha inventato, 'sto sistema dei tre server.

Si chiamano Joseph Heller e John Yossarian, e la logica base è quella del Comma-22.

stecolnastecolna By stecolna - posted 29/07/2008 08:19

Ma che CL/UL/SL ti ritrovi Davide?

Mi sa che hai poteri...."calamitosi"!!!

O mi sbaglio??


sto cominciando a convincermene anche io


cece By ce - posted 29/07/2008 10:09

"no, se fossero stati 4 server li avrei senz'altro chiamati "Morte", "Guerra", "Fame" e "Pestilenza"... essendo solo 3..."

È una citazione fantasy? Dal ciclo di Shannara di Terry Brooks? ;\)

LaurentoLaurento By Laurento - posted 29/07/2008 18:05

MUUHHAHAHHAHAHA! :D
Grazie... oggi è stata una giornataccia, mi ci volevano 2 risate ;\)

filsysadminfilsysadmin By filsysadmin - posted 29/07/2008 18:05

X ce sono anche i 4 cavalieri dell'apocalisse si comunque mi hai batattuto sul tempo per la citazione della saga di shannara.
Io qui in sede ho fame (file server) sonno (scatolotto con immagini cd) e debolezza (mail server).

halhal By hal - posted 29/07/2008 18:05

Un serpente velenoso! Voglio un serpente velenoso. Anzi no, 2! Che li metto in cluster!

Ma rotfl!

TommasoTommaso By Tommaso - posted 29/07/2008 18:06

@ce
no credo sia una citazione dall'Apocalisse di Giovanni... i 4 cavalieri.

EnricoEnrico By Enrico - posted 29/07/2008 18:06

ha... ha... mi sono fatto pure una cultura su wikipedia tra Torquemada, Himmler e Cthulhu.... Per non parlare delle storie del BOFH originale chiamato "Simon" (dato che c'ero con la pagina aperta ho cercato :D)!


p.s.: sapevi che wikipedia come link "Una raccolta di racconti stile BOFH in lingua italiana" reindirizza proprio qui?


si', ero informato della cosa.


St0rMSt0rM By St0rM - posted 29/07/2008 19:36

Mi ricordo una volta all'universita', nel ced sotterraneo, c'era un punto dove per arrivare ad alcuni server AIX bisognava abbassarsi per passare sotto un fascio di cavi di rete tesi ad altezza uomo (come soluzione temporanea ovviamente, e quindi saranno sicuramente ancora li). Ed una volta per passare io mi sono inginocchiato mormorando "Solo il penitente potra' passare" ...

Indiana BOFH FTW :-\)

NikNik By Nik - posted 30/07/2008 09:13

@ Enrico:

posso capire che non conoscessi Cthulhu... posso anche passare il fatto che non conoscessi nemmeno Torquemada... ma neppure Himmler???


@ Davide:

hai hai hai... "Morte", "Guerra", "Fame" e "Pestilenza" li hai già usati!! battezzasti così i 4 firewalls forniti da $bloodyidiots, ricordi?

http://www.soft-land.org/storie/07/story02


'mbe'? che c'e'? i nomi mica sono single-user only...


Eugenio D.Eugenio D. By Eugenio D. - posted 30/07/2008 09:13

@Alberto: Non avrei mai pensato ad un collegamento fra il magi system e le "bellezze" tecnologiche che Davide si ritrova a dover sistemare.
Che Cthulhu sia con voi!

lordmarklordmark By lordmark - posted 30/07/2008 14:35

scusa, devo essermi perso un passaggio, dove hai già parlato dell'esplosione in cui è coinvolto H?


No, non e' rimasto "coinvolto", e' proprio lui che e' "esploso", la storia era "Full circle?" e H non era nominato direttamente.


JackJack By Jack - posted 30/07/2008 19:03

@Giordano: Buona apocalisse! :-\)

JeegsawkJeegsawk By Jeegsawk - posted 31/07/2008 10:40

Il numero di commenti aumenta esponenzialmente ad ogni storia, fra poco potrai fondare un partito...


buona idea, lo chiamero' "partito dei fancazzisti"... o c'e' gia'? E comunque non e' vero, le statistiche in questo momento sono le seguenti:

31 story23

36 story10

40 story15

40 story20

41 story29

43 story16

46 story25

48 story17

48 story28

50 story14

50 story26

54 story19

54 story13

55 story18

56 story24

61 story27

62 story22

63 story21

75 story11

91 story12



Quindi stravince 'story12'... non so bene per quale motivo...


GiuseppeGiuseppe By Giuseppe - posted 31/07/2008 10:40

non mi sorprenderò mai abbastanza di quanto godano certe persone a incasinarsi la vita con configurazioni cervellotiche :\)

BaboonCobolBaboonCobol By BaboonCobol - posted 30/07/2008 20:20

Per fortuna che avevo letto la tua storia lunedì.
Mi ha preparato psicologicamente a ciò che ho visto oggi!

Devo controllare il corretto funzionamento di alcune procedure sviluppate da $FornitoreDiBrutteFigure. Gli dico di correggere alcune cose, per rispondere alle specifiche del cliente. Dopo poco mi dicono che la procedura e ricompilata, quindi posso ri-testare. E qui mi và in SBRA'.
Controllo cosa non gli è piaciuto..... ed era una routine non allineata (ricompilata) con il resto della procedura. La cosa assurda? la procedura appartiene a loro, e le routine... pure. Mai possibile che 'sti quà non conoscono nemmeno i LORO programmi, sui quali stanno lavorando?!?

(P.S. Ciao Squalo, lieto di ritrovarti, brother).

DanieleDaniele By Daniele - posted 31/07/2008 16:11

>Quindi stravince 'story12'... non so bene per quale motivo

Io l'idea ce l'ho, ovvero aver nominato Windows Vista nei commenti...

Andrea B.Andrea B. By Andrea B. - posted 31/07/2008 16:12

Suppongo sia dovuto al fatto che la storia 12 è relativa all'introduzione di (S)vista in ambito aziendale...
Comunque riferendomi al mio post precedente stiamo ancora cercando di far funzionare il nuovo sistema. Ohh funziona benissimo ma solo con privilegi amministrativi...

CymonCymon By Cymon - posted 01/08/2008 19:34

Santo cielo, il Giochi Senza Frontiere del SysAdmin, mancavano solo Guido Olivieri e Gennaro Pancaldi col fischietto!

FedericoFederico By Federico - posted 04/08/2008 08:30

Davide, ma i tre merdavigliosi server in sostanza che dovrebbero fare?


per scoprirlo devi prima trovare la Citta' Senza Nome che e' riportata sulla mappa ma senza nome (appunto) e poi seguire il percorso. Ah e non dimenticarti di attivare il megarobot a forma di scimmia...


EnricoEnrico By Enrico - posted 05/08/2008 09:08

@nik...

....ci saranno almeno un milione di personaggi del passato che non conosco... oppure che ho sentito nominare ma che fwg o wiki per vederne il maggior numero di aspetti...

...sarà che ne so qualcosa... ma non mi stupisco mai a pro posito di niente e/o di nessuno....

A voler svelare tutta la mia ignoranza devo ancora bene riuscire a capire l'original "se striscia fulmina...."

embe? :P


dAbdAb By dAb - posted 10/08/2008 09:06

Davide ma dicci una cosa.. nessuno dei tuoi colleghi / capi / amici / questuanti / ti ha mai letto e sgamato dopo essersi riconosciuto in una storia?


il fatto che la maggioranza dei colleghi/capi non parlino italiano e' un fattore da tenere conto... ma no, non ancora almeno.


CyberCyber By Cyber - posted 24/08/2008 13:33

Ma tu ti definisci un Nerd? =)


qualche cosa contro la classe?


RiccardoRiccardo By Riccardo - posted 26/08/2008 16:11

Per @D sul post di @Nik


> 'mbe'? che c'e'? i nomi mica sono single-user only...


Intendevi 'OTP' (single-use, senza "R") vero?


si esatto


E comunque i nomi dei server sono come i nomi delle barche, porta malissimo riusare il solito quando reinstalli


veramente io sapevo che portava male cambiare il nome della barca, non ri-usarlo su una nuova


(infatti io non reinstallo mai, migro i dischi con cpdup, dump/restore o fisicamente) e riaccendo l'hw nuovo :\)


E dopo aver finito i personaggi di Disney, pianeti, costellazioni, colori e altra roba strana sto usando nomi di animali di 5 lettere in inglese con l'iniziale sempre diversa (ma nomi serializzati direte voi no eh? troppo facile e poi si ricordano peggio). Vuoi mettere come associ facilmente "snail" ad un potentissimo server? :P


--

R.


CyberCyber By Cyber - posted 26/08/2008 16:28

Oh no...

anche io mi definisco Nerd!

Un Nerd venuto un pò male ma cmq non mi scosto tanto =)

Per curiosità

Con il computer ogni tanto ci giochi? =)


definisci "giochi"... if( $giochi =~ ti scrivi da solo il tuo CMS perche' quelli che ci sono non ti piacciono debuggi il codice di Apache fai cose che ti divertono e per cui non sei pagato ) { si; } else { no; }


TorquemadaTorquemada By Torquemada - posted 29/08/2008 14:03

E chi sarebbe il Torquemada che si e' sognato sta cosa?


Giuro che io non c'entro nulla ero e sono in ferie ;-P


52 messages this document does not accept new posts

Previous Next


This site is made by me with blood, sweat and gunpowder, if you want to republish or redistribute any part of it, please drop me (or the author of the article if is not me) a mail.


This site was composed with VIM, now is composed with VIM and the (in)famous CMS FdT.

This site isn't optimized for vision with any specific browser, nor it requires special fonts or resolution.
You're free to see it as you wish.

Web Interoperability Pleadge Support This Project
Powered By Gojira