Tales from the Machine Room


Home Page | Comments | Articles | Faq | Documents | Search | Archive | Tales from the Machine Room | Contribute | Login/Register

Infrastructure

noun, singular.

Bridges collapse, houses crumbles, mountains flattens and tools rusts. Something strange? No, it's called "entropy" or simply "life".

With the passage of time, things begin to deteriorate and, if they aren't maintained, eventually the will break, catastrophically sometimes. Disasters, like earthquakes or tornadoes, are not necessary, even if they help with the matter, the normal daily routine is more than enough even if it doesn't have the spectacular effects. And in this sense is even worse, because the effects are spread out on a very long time scale and as such are mostly ignored.

Sit down, wait and you'll see the body of your enemy. Unless your enemy doesn't see yours first. In both cases the problem is solved: there is no enemy anymore.

And in the same way, wait and you'll see the bridge collapse. Sooner or later. There isn't an "if" there is only a "when".

"So?" say you, "therefore" (say me), if you don't want to see the bridge coming down to meet you, you have only 2 ways: you start fixing it and keeping it up, throwing money and time at it, or you take a different road. The problem doesn't disappear anyway, it just changes.

The fact is that all those things are part of the "infrastructure", the base upon which a lot of other stuff rest to function and if this base disappear all of a sudden, everything on top of it crashes down miserably.

So of the two "solution" above, only one of the two is the good one: you need to throw money and time at it.

The problem is that throwing money at something that "works" is never perceived as a good thing. Why repainting that wall? Is good as it is. The point is that repainting also means checking it and check if there are cracks or fractures, and eventually repair those cracks before they become too depp. When it is too late to repair it, is time to rebuild it from scratch.

And of course, when you start thinking about "rebuild it from scratch", immediately other problems start showing up.

The more "basic" something is, the bigger the effect is when is taken away or changed. And when you need to fully replace something, everybody start screaming.

Ok, end of the prologue and we'll start talking about $oldandolder, those peoples had begun working LOOOOOOONG time ago, basically in another millenium (eh eh eh...) and at that time, they've decided to equip themselves with their very own mail server! That very few had something like that at that time.

But, as said before, time passes, things changes and gets older. $oldandolder chages office and take its old server along for the ride, then they change again and again and then... it is today, when the server stop working.

Crisys! Fear! Panic! Everybody run around screaming "help help" (emergency plan #1)... and at this point, the UL decide that is time to "do some maintenance" and they call us. Why us? If I got it correctly, UL was a friend of a friend of SL. So the problem ended up on my table.

Me - So, precisely what are we supposed to do?
DB - We need an estimate of the work required to bring everything in our infrastructure, possibly today.
Me - "bring" what?
DB - Well, the mail functionality.
Me - Isn't faster to simply register in O365 or Google?
DB - They also want to recover the old mails.
Me - Ok, I'm gonna ask the question, even if I already know the answer, do they have a backup?
DB - ...I don't need to answer that, do I?
Me - Not really. And since the server is dead, how are we supposed to "recover" the mail? Ask the spirit? Or phone everybody in the world and tell them to re-send their old mails?
DB - We could start by looking if the disk is still readable.
Me - Let's assume no. What's the next step?
DB - What? Why assuming no?
Me - Because is the safest assumption and we skip a lot of trouble and save time. Especially if they want to do everything for yesterday. Let's assume that the disk is gone, adios, sayonara. What's the next step?
DB - ...
Me - There is no "next" step, right?
DB - The data recovery is a required step...
Me - If it is "required" there should be a backup, if there isn't one, then the "recovery" is "nice to have but nope", so let's assume the data are gone and we go directly to next step.
DB - ...
Me - If all they want is "data recovery" why don't they go to a company specialized in data recovery? Let me guess: they want more money.

Anyhow, we go and have a look at this machine, that turns out to be a bog-standard grey-ish type tower, the type of machine that were common in 199something, with a dual hard disk (they say). With what on them? Don't know.

Me - (looking at the dust-encrusted ventilaion fan) This thing wasn't in a datacenter, right?
DB - As far as I understood has always been in an office.
Me - (looking inside) IDE! It has 2 IDE disks! Last time I saw those it was 2006 maybe! (close the box) Ok, we looked at it. Now?
DB - Hemmm... try and start it up?
Me - Didn't they tried already? Multiple times?
DB - I think so...
Me - Then we don't have to repeat the test.
DB - But...
Me - Listen, this thing has done its job, more than enough, since they never got the idea of giving it the required maintenance, because probably would've required money, they have automatically decided that what's inside isn't much important, so now it's their problem.
DB - Hammmm... What do you suggest?
Me - Let's tell them that their e-mails have flown up in the big Exchange in the sky... wait no, otherwise they think about the "cloud" and get confused. Just tell them this thing is irrimediably borked and the next time is better if they get a backup. And let them decide what to do with the mail now.
DB - They want a mail server.
Me - Ok, but a dedicated mail server? If that's the case we can spin up a virtual machine with any OS and any Postfix and we're done, otherwise they have to decide what they want. I keep repeating that a nice O365 account is better, at least they are taking the backups and we don't get to babysit them.
DB - Yeah, but it seems they wants something more...
Me - Like ?

So we go and ask this UL and it turns out that "sometimes ago" (in the Pleistocene probably), somebody had written a... thing... that read a mailbox and did... things... depending on the mails in there.

Me - Nice, so, looking at the condition of the "server", I assume you DON'T have any documentation on this "thing" or anything, as such I think the best thing to do is to start from scratch, contact this Mr Somebody and ask him if he still has a copy of that "thing" or any documentation and is willing to redo the whole thing on the new environment.
UL - We'd rather avoid to contact that person.
Me - Let me guess: you never paid him.
UL - Hmmm... let's say it was a temporary thing, more a 'test' than a real thing.
Me - Right. A test. That you kept using on production for 20 years. Well, your problem. Now is time to redo it from scratch.
UL - We wanted to recover all the data, also this "thing".
Me - "Recovering" the data doesn't imply the recovery of "everything" especially stuff that ain't data.
UL - You don't understand...
Me - Let's hear it then.
UL - That part of the system is absolutely integral in our administrative structure, without we'll lose days to get the same information and the same result!

I turn to look at the old server.

Me - If that (pointing a the machine) is the way you manage the "integral part" of your structure, I don't want to see the rest of your office.

Because infrastructure aren't eternal.

Davide
06/03/2020 11:28

Previous

Comments are added when and more important if I have the time to review them and after removing Spam, Crap, Phishing and the like. So don't hold your breath. And if your comment doesn't appear, is probably becuase it wasn't worth it.

12 messages post new
Antonio Pennino By Antonio Pennino - posted 16/03/2020 14:35 - reply

Neanche un tentativo di recupero, tipo togliere i dischi e riattaccarli a qualcosa d' altro?

--
Antonio Pennino


Davide Bianchi@ Antonio Pennino By Davide Bianchi - posted 17/03/2020 08:07 - reply

Neanche un tentativo di recupero, tipo togliere i dischi e riattaccarli a qualcosa d' altro?

Tu hai un computer con una interfaccia IDE sottomano?

 

--
Davide Bianchi


MIKE@ Davide Bianchi By MIKE - posted 24/03/2020 10:31 - reply

 

Neanche un tentativo di recupero, tipo togliere i dischi e riattaccarli a qualcosa d' altro?

Tu hai un computer con una interfaccia IDE sottomano?

Tecnicamente si`. Ho anche un Commodore 64. Amo il retrogaming. Penso mi comprero` lo Spectrum Next

 

Ma a livello lavorativo no.

Poi se la macchina non parte ed aveva dischi ide che giravano 24/7 da anni e` possibile che rimanendo fermi e raffreddandosi le boccole del motore si grippano e non riesce a partire.

 

 

 

--
MIKE


Anonymous coward@ Davide Bianchi By Anonymous coward - posted 27/03/2020 19:12 - reply

Io no, sottomano no, ma immagino che cercando si possa anche trovare qualche fondo di magazzino.

Neanche un tentativo di recupero, tipo togliere i dischi e riattaccarli a qualcosa d' altro?

Tu hai un computer con una interfaccia IDE sottomano?

 

 

 

--
Anonymous coward


Anonymous coward By Anonymous coward - posted 16/03/2020 16:32 - reply

Domanda da fare al capo: questi non hanno pagato lo sviluppatore dell'accrocchio che hanno usato per 20 anni, non hanno pagato per tenere io sistema aggiornato, non hanno pagato per una soluzione di backup, non hanno pagato per tenere la roba in un datacenter decente, non hanno pagato una ditta specializzata in recupero hd... cosa ti fa pensare che ora vogliano pagare proprio NOI?

Detto anche, come mai sei così disperato da raschiare questi tizi dal fondo del barile dei clienti?

--
Anonymous coward


Messer Franz By Messer Franz - posted 16/03/2020 19:28 - reply

> Se quello (indicando il server) e' il modo come gestite e trattate le "parti integranti" della vostra struttura, non voglio decisamente vedere il resto dei vostri uffici.

Mi ricorda vagamente il primo posto in cui ho lavorato (20 anni fa circa), che si presentavano come "vi facciamo il sito e ve lo hostiamo noi nei nostri superdatacenter" e il server era il pc più vecchio e "non fateci niente che non sappiamo come mai funziona ma va bene così non rompete l'incanto". Il pc più nuovo, dato che chiedete con tanta insistenza, ce l'aveva la segretaria del capo, che , incidentalmente, non lavorava praticamente mai ed era brutta e rompipelotas, ma era la di lui morosa/moglie, quindi...

--
Messer Franz


Thomas By Thomas - posted 17/03/2020 00:59 - reply

Mi hai riportato in mente un'azienda presso la quale lavorai alcuni anni fa.

Dunque. Case tower risalente a circa quindici anni prima, con dentro OS parimenti datato e mai aggiornato. Quello era Il Server, il punto focale di tutta l'azienda. Esso conteneva:

-megagestionale cruciale per OGNI cosa;

-vari db inerenti tale gestionale;

-mucchi di file XLS che pretendevano di essere i backup dei vari db;

-server di posta;

-backup dei file PST di tutti i client;

-archivio dati statici di vario tipo, tipo i template del sito aziendale;

-e in generale un po' di tutto, compresa anche musica piratata e pornazzi in quantità, visto che uno dei dischi fungeva da NAS per tutti i client e nessuno si era mai preso la briga di controllare alcunché.

Tale server era poggiato dentro un rack. Poggiato nel senso letterale, avevano preso un rack e avevano poggiato il tower sul "pavimento" del rack. Al di sopra di esso c'erano un PBX e uno switch 48 porte, almeno quelli su binari.

Presente le robe zozze giapponesi coi mostri tentacolari? È la metafora più accurata per descrivere il cable routing che mi sono trovato davanti. Nel marasma c'erano anche degli scatolotti di tre-quattro compagnie telefoniche diverse (NB: nessuna ridondanza, è che il capo amava cambiare gestore seguendo l'offerta del momento...), letteralmente APPESI a quell'orgia di cavi.

Dulcis in fundo: tutto questo si trovava non negli uffici, ma NEI CESSI degli uffici. E intendo proprio che in quella stanza c'erano da un lato c'erano due gabinetti (di cui uno solo munito di porta), dall'altro i lavandini, nel mezzo il rack.

Che dire...?

--
Thomas


Messer Franz@ Thomas By Messer Franz - posted 17/03/2020 18:59 - reply

[...]

-e in generale un po' di tutto, compresa anche musica piratata e pornazzi in quantità

[...]

Presente le robe zozze giapponesi coi mostri tentacolari? È la metafora più accurata per descrivere il cable routing che mi sono trovato davanti.

[...]

Che dire...?

 

Risposta: che il sistemista si era informato su internet su come cablare/gestire i cavi del server, aveva sbagliato tipo di siti, ne aveva trovato uno molto più interessante, ed aveva seguito fedelmente le istruzioni, perchè L'INTERNET NON SBAGLIA MAI! (ed in effetti in certe cose è un professionista...)

 

 

--
Messer Franz


Thomas@ Messer Franz By Thomas - posted 19/03/2020 13:52 - reply

@Messer Franz

Sistemista è una parola molto grossa.

Tante PMI italiane trattano i computer come una roba che tocca usare perché sennò sei tagliato fuori dal mondo, quindi fanno mettere su una roba da un conslutante e poi si lascia lì, allo stato brado. Il sistemista non esiste, il tecnico non esiste, il reparto IT non esiste; finché la barca va lasciala andare, anche se imbarca acqua da ogni parte. Se succede qualche casino, chiama il tecnico più economico sulla piazza e fagli fare un rattoppo alla veloce, e alla via così.



Chiaramente, così non può funzionare. Perciò, di solito c'è un dipendente con un briciolo di competenze che prova a sistemare i casini più grossi... ma rigorosamente di sua sponte e con zero budget, sia economico sia temporale.



Per inciso, è esattamente la situazione nella quale mi trovavo io. Sulla carta ero stato assunto per tutt'altra roba, ma dato che quella situazione mi rendeva la vita impossibile (ed era francamente intollerabile a livello psicologico: non sopporto i lavori fatti alla ca$$o) mi ero messo a sistemare il sistemabile nei ritagli di tempo.

--
Thomas


Anonymous coward By Anonymous coward - posted 18/03/2020 13:37 - reply

Sembre piu' evidente come trasudi, dalla parole e  dal tono dell'autore, irriquitezza, nervosismo, astio e una sempre minor cqpacita' di ttattenersi dall'estrarre la sua mitragliatrice di vaffanculi con la quale abbattere clienti e superiore gerarchico. Cambiare posto di lavoro non servira' perche la gente e' uguale ovunque.

 

--
Anonymous coward


Anonymous coward By Anonymous coward - posted 21/03/2020 17:23 - reply

"Comunque sia, andiamo a vedere questo coso."

siccome si è gia capito che qeusti sono degli $tronzimortidifame, credo che la cosa migliore da fare sia fatturare l'uscita per la visione del problema PRIMA di uscire per visionare il problema, della serie "venire da voi 4 ore consta tot, e quel tot ce lo dovete bonificare PRIMA che arriviamo". Siccome è al 99,99% un disco "hasta lasagna" non ci sarebbe comunque niente da fare e l'uscita non verrebbe pagata visot che n  ci sarebbe il recupero dati.

#BASTALAVORAREGRATISPERDEGLISTRONZI

--
Anonymous coward


Blueyes By Blueyes - posted 24/03/2020 10:25 - reply

Ciao Davide....

prima di passare come statale ne ho viste di cose (non che ora non ne veda, semplicemente non posso parlarne).

E piu cucculente di quella mia storiella che pubblicasti sul "wrog side up" :-\)



Esempi?

Server in rack a  50 cm da una vasca di stoccaggio funghi trifolati sottolio open-air (!)

Server e autoloader nella stanza a fianco di un maglio da 2 tonnellate per stampare ingranaggi (!!)

Ditte che, a fronte di una offerta di singolo UPS rack da 2000VA ne installano IN CASCATA tre da 500 (!!!) presi al supermercato, e poi si lamentano CON TE se pigliano fuoco UPS, alimentatore, scheda madre e dischi dell'unico server... e le cassette dello streamer poggiato sopra ad essi!

Ditte bloccate perchè il figlio della segretaria stacca le if SCSI esterne perchè "andavano in conflitto" e installa sul server winblows due DVD INTERI di giochi crackati (!!!! (era il 2000, quindi ce ne stavano tanti !!!!)



Il filo conduttore? "Tanto è un server e abbiamo il RAID" (e/o le cassette ci schifa cambiarle o anche lasciarne una dentro per errore)!

MAI riuscito a ripristinare un bit.... ^__^

 

--
Blueyes


12 messages post new

Previous


This site is made by me with blood, sweat and gunpowder, if you want to republish or redistribute any part of it, please drop me (or the author of the article if is not me) a mail.


This site was composed with VIM, now is composed with VIM and the (in)famous CMS FdT.

This site isn't optimized for vision with any specific browser, nor it requires special fonts or resolution.
You're free to see it as you wish.

Web Interoperability Pleadge Support This Project
Powered By Gojira